Amerikanska Cerebras dubblerar antalet transistorer på sitt jättestora chip, efter att ha krympt processtorleken från 16 till 7 nm.

Chipet heter WSE2 (Wafer Scale Engine 2). De redan extrema parametrarna som gällde för WSE1 har härmed drygt dubblerats.

Tanken med WSE1 och WSE2 var att de skulle avändas för maskininlärning – för träning av och inferenser i djupa neuronnät. Men de har även hittat andra tillämpningar.

Varje chip innehåller 850 000 beräkningskärnor, från 400 000 i WSE1. Plus 8500 i reserv för att ersätta trasiga kärnor.

Yielden är i princip 100 procent. Det beror på att skadade kärnor tjuvkopplas. Metoden faller när flera kärnor intill varandra är skadade, men det händer sällan. TSMC får äran för sina mycket få och jämnt fördelade defekter – planen var först att använda 1,5 procent extra kärnor. Nu räckte 1 procent.

Ett chip per rack. I övrigt finns här bland annat tre stycken 16 kW-aggregat och tolv portar 100 Gbit Ethernet. Det finns även 46U-rack att köpa, med tre chip.

Cerebras ser inga hinder mot att fortsätta sitt hantverk i mindre processtorlekar.

Det finns 40 gigabyte SRAM utspritt på chipet – ja, gigabyte – mot tidigare 18. Minnesbandbredden går upp från 9 till 20 petabyte/s. Matningseffekten stannar dock på 23 kW.

Mjukvaran är bakåtkompatibel, trots att Cerebras skruvat lite på kärnornas arkitekturer. Programmeringsmodellen är densamma som används för grafikprocessorer.

De som skapar och använder djupa neuronnät använder vanliga utvecklingsmiljöer som TensorFlow och PyTorch.

Cerebras kompilator sprider ut neuronnätet på chipet. Vikter och bias ligger inne i kärnorna och väntar på att få multipliceras med och summeras till den förbiflytande dataströmmen.

Styrkan med WSE2:s storlek är att kompletta stora neuronnät ryms. De små konkurrerande AI-kretsarna måste skifta in och ut olika delar av nätet och mellanvärdena, och introducerar då stora straff i prestanda.

Racklösningar ska finnas under tredje kvartalet. Cerebras har sedan tidigare några dussin användare, bland dem superdatorcenter, medicinföretag, finansföretag, molnserverleverantörer.

Chipet kostar ett par, tre miljoner dollar styck.

Cerebras har 300 ingenjörer i Silicon Valley, Toronto, San Diego och Tokyo. Värdet på företaget uppskattas till 2,4 miljarder dollar.

Världens överlägset största chip

Chiptillverkning startar med en kiselskiva stor som en tallrik.

Andra styckar upp skivan i några hundra små rektanglar – det är de som kallas ”chips”. Men inte Cerebras, som låter hela tallriken blir ett enda chip. Skär bort lite i kanterna bara, för att få en kvadrat.

Säkerligen är det fler som försöker, sedan Cerebras hösten 2019 visade att denna gamla dröm faktiskt var tekniskt möjlig. Chipet har 48 gånger fler transistorer än världens näst största chip, Nvidias grafikchip Ampere A100.

Prestanda kan som resultat bli extrema, mycket på grund av att minnestrafik utanför chipet är en flaskhals. För en viss simulering hade ett ensamt chip 200 gånger bättre prestanda än en komplett superdator. Läs mer i vårt arkiv (länk).

2,6 biljoner transistorer på ett chip

Världens överlägset största chip