Allt om det gigantiska AI-chipet

Ja, det är ett enda chip han håller i famnen. Den gamla drömmen om att tillverka ett chip av en hel kiselskiva har till slut blivit verklighet. Amerikanska Cerebras accelerator för djup maskininlärning är så extremt kraftfull att den kan komma att öppna helt nya möjligheter inom området artificiell intelligens.

Normala chips tillverkas genom att en kiselskiva med en diameter på upp till 300 millimeter styckas upp i rektanglar som vart och ett blir ett chip. Ytan får alltid defekter och chip måste kasseras. Ju större chip, desto större andel måste kasseras och desto sämre blir ekonomin.

MÅNGA UNIKA LÖSNINGAR

Chipdefekter är inte den enda utmaning som Cerebras har ställts inför. Det har krävts en lång rad nya unika lösningar för bland annat kapsling, strömmatning och kylning.

Resultatet är en teknik som kan användas för att bygga gigantiska chips, inte bara AI-acceleratorer.

Inga chipkonstruktionsverktyg stöder 1,2 biljoner transistorer, för det första, så Cerebras blev tvunget att utveckla egna.

Nästa stora problem är att normal chiptillverkning inte behöver bry sig om skarvarna mellan de rutor som vart och ett blir ett eget chip.

På 80-talet försökte Gene Amdahl göra samma trick – att bygga ett chip lika stort som en kiselskiva. Men det stupade på just skarvarna. Andrew Feldman ger äran till TSMC:s instrument för att det det löste sig den här gången, och faktiskt gick till och med lättare än han väntat sig.

Nästa utmaning var spännande, för den var helt okänd – ingen hade kommit så långt förut på vägen tidigare. Det visade sig vara termisk expansion. När chipet blir varmt expanderar det och då lossnade anslutningarna till moderkortet. Lösningen blev ett nytt material för anslutningarna.

Ytterligare unika lösningar behövdes för test och kapsling. Det fanns heller ingen som tillverkade lämpliga tillräckligt stora moderkort.

Och strömmatning och kylning, förstås. Chipet drar 15 kW. Istället för att mata in ström från anslutningarna matas den in på chipytan ovanifrån. Kylningen tar samma väg.

Mellan 1 och 1,5 procent av beräkningsblocken i Cerebras chip innehåller defekter, men extra block på chipet slussar datatrafiken runt dem.

Chipet heter WSE (Wafer scale engine) och blev en stor skräll i natt när det presenterades under Hot Chips Conference i USA. Det tillverkas av TSMC i 16 nm och prototyper finns redan hos kunder.

Data för WSE är förstås extrema. På sina 460 kvadratcentimeter är det 57 gånger större än världens näst största chip, Tesla GV100, som också det är en AI-accelerator. WSE innehåller 1,2 biljoner transistorer och består av 400 000 små processorer och 18 Gigabyte SRAM, vilket är 3000 gånger mer än GV100 har.

WSE används liksom GV100 för att träna artificiella neuronnät. Genom sin storlek kan det lagra kompletta gigantiska neuronnät med träningsdata och genomföra en komplett träningsprocess utan att fördröjas av åtkomst till externt minne.

Eftersom minnesåtkomst är en flaskhals kommer WSE som AI-accelerator att göra betydligt större skillnad än vad faktorn 57 antyder. Enligt Cerebras kommer beräkningstider att kunna dras ner från ”månader” till ”minuter”. Riktiga benchmarks utlovas till september.

Den totala bandbredden på chipet mellan kärnorna är 100 petabit/s. De är ihopkopplade med sina grannar i de fyra väderstrecken.

De 400 000 kärnorna är var och en en liten programmerbar processor med fullt stöd för artitmetik, logik, villkorliga hopp och så vidare, inklusive de tensoroperationer som articiella neuronnät huvudsakligen består av, som matrismultiplikation och konvolution. En av optimeringarna att multiplikationer med nollor – som är vanliga i artificiell neuronnät – helt hoppas över.

Både världens största och världens näst största chip är AI-acceleratorer.

Cerebras berättar inte vad chipet kostar. Som jämförelse betalar du drygt 100 000 kronor för ett PCI Expresskort byggt kring ett GV100-chip, som tillverkas i 12 nm.

Personerna bakom Cerebras är Andrew Feldman och Gary Lauterbach, två branschveteraner. Deras förra gemensamma projekt hette Seamicro och såldes till AMD.

Cerebras grundades för bara tre år sedan och har en fått finansiering på drygt 200 miljoner dollar. På företaget arbetar 173 konstruktörer.