About / Advertise
Den kanadensiska neuronnätskretsen Grayskull har en teoretisk prestanda på 368 Tops vid 75 W. Den är ett nätverk-på-ett-chip och dess specialitet är att hoppa över beräkningar som inte påverkar utfallet.
Grayskull kommer från Tenstorrent i Toronto. Bakom företaget finns ett antal kretsdesignveteraner från bland annat Nvidia och AMD.
Grayskull delat upp beräkningarna i mindre paket och utför beräkningar på varje paket villkorligt.
Det rättframma sättet att beskriva en beräkning i ett neuronnät är som en sekvens matrismultiplikationer separerade av tröskelfunktion. Det enklaste sättet att implementera detta är att göra algoritmen blind för att exempelvis en multiplikation med noll kan hoppas över – för att ta det enklaste exemplet.
Det finns redan AI-kretsar som förenklar bort fallet multiplikation med noll. Men Tenstorrent säger sig ha en ännu smartare metod för att utföra beräkningar villkorligt.
Metoden beskrivs som en sorts komprimering. En fördel är att därmed att kretsen kan spara bandbredd. En betydande insats görs av kompilatorn. Samtidigt sker själva elimineringen av beräkningssteg dynamiskt.
Komprimering sker bland annat när neuronnätet Bert används. Bland annat Google applicerar Bert på textsökningar för att ge mer relevanta resultat. Bert matas normalt med en text av en bestämd längd som fyllts ut med blanktecken – som Grayskull skippar.
Grayskull kan användas både för träning av neuronnät och för inferensdragning.
I testkörningar får Grayskull följande resultat:
- På bildigenkänningsnätet Resnet50 levererar Grayskull 22 431 inferenser per sekund på bilder i storlek 224 × 224.
- För språknätet Bert Base på träningsdatat Squad 1.1 blir prestanda 2830 meningar/s
- Dito med ”conditional features” får en prestanda på 10 150 meningar/s
- Dito med flyttal i låg precision klarar nätet 23 345 meningar/s
Kretsen består av 120 block kallade Tensix-block i ett toruskopplat nät. Varje block innehåller fem enkla Risc V-processorer, en paketprocessor, 1 MByte SRAM och en beräkningskärna.
Grayskull finns i provexemplar idag och ska finnas i volymer i höst. Den tillverkas av Global Foundries i 12 nm.
