About / Advertise
Från en halv peta-ops till två peta-flops – det är prestandaökningen mellan det AI-chip som Untether lanserade för två år sedan, och det som lanseras idag.
Det nya chipet, Boqueria, eller Speed AI 240 presenteras på konferensen Hot Chips 2022.
Det är av avsett för tillämpningar där det finns hög effekt att tillgå, som servrar eller självkörande bilar. Det gör inferenser, det vill säger applicerar tränade neuronnät på nya indata.
Speed AI 240:s effektivitet i eco-mode är 30 teraflops/watt, att jämföra med 8 teraops/watt i föregångaren Run AI 200. Notera att den växlat från att arbeta med heltal till flyttal, från Int8 till FP8.
Den kan även göra inferenser på indata i 16-bitars flyttal, BF16, varvid den logiskt tappar halva prestandan. Internt kan den fortfarande arbeta med heltal på båda fyra och åtta bitar.
|
|
För språknätet Bert kan Speed AI 240 besvara 750 förfrågningar (queries) per sekund per watt |
En spännande teknisk detalj är att den har två olika åttabitars flyttalsformat att välja mellan. Formatet som heter FP8p använder fyra bitar för mantissan, där ”p” står för precision. Formatet FP8r använder bara tre, där ”r” står för ”range”. De valdes efter experiment.
Chipet stöder även något som kallas 2:1 structured sparsity. ”Glesa” neuronnät har många nollor i vikterna.
På chipet finns 1400 Risc V-cpu:er med 20 egendefinerade operationer, plus 238 megabyte SRAM.
Speed AI 240 och dess kommande syskon kommer att kunna beställas som chips, i M2-kort och i PCI Express-kort- Provexemplar kommer att börja levereras under första halvan av nästa år.
