About / Advertise
Israeliska Ceva släpper en ny generation IP-kärnor för artificiella neuronnät, som mer än tiofaldigar antalet teraops per ytenhet. Kärnorna stöder generativ AI.
Exakt hur arkitekturen ritats om för att stödja generativ AI framgår inte av pressmeddelandet från Ceva.
Men det går förstås inte att släppa en neuronkärna år 2023 utan att explicit nämna att de kan köra ChatGPT, Midjourney och andra generativa neuronnät. Och vi får en siffra: de nya kärnorna kan göra inferenser på upp till 1,5 miljoner tokens per sekund per watt i en transformerspråkmodell.
Neuronnätskärnfamiljen Neupro skapades i början av år 2018 som svar på att Apple integrerat dedikerade neuronät i sina Iphoneprocessorer. Alla andra mobilprocessorer ville följa Apple i spåren. Fram till dess hade Ceva – etablerad IP-leverantör till mobilchips – rekommenderat sina signalkärnor för den som ville köra neuronnät på telefoner.
Även cpu:er och gpu:er kör neuronnät, men effektivast är en arkitektur med ett gigantiskt nät av MAC-enheter och exempelvis stöd för nya numeriska format och de överföringsfunktioner som neuronnät applicerar.
Den nya kärnfamiljen heter Neupro M och består NPM11, -12, -14 och -18 med maxprestanda på 32, 64, 128 respektive 256 teraoperationer per sekund.
De kan dessutom komponeras och skalas upp till 1200 Tops.
 |
| Klicka! |
Två nya datatyper får stöd: åttabitars flyttal (FP8) och 16-bitars brainfloat (BF16). Sedan tidigare finns stöd för tvåbitarsvärden.
Här finns även stöd för utnyttja "true sparsity" (när nätet avsiktligt har många vikter noll, att många potentiella länkar saknas) och komprimering av data och vikter.
Energieffektiviteten ökar från 24 Tops/W till 350 Tops/W – vilken även delvis beror på att processnoden går ner från 7 till 3 nm.
Antalet nättopologier med explicit stöd ökas från 50 till 100. Det finns även ett verktyg för att rita egna arkitekturer. Andra nya verktyg minimerar minnesbandbredd och balanserar beräkningsbelastningen.
Mjukvaruplattformen är kompatibel med öppenkodsramverken TVM och ONNX. Kärnorna stöder säkerhetsstandarden ISO 26262 ASIL-B.
NPM11 kan vem som helst beställa. NPM12, -14 och -18 är tillsvidare reserverade för vip-kunder. Ceva väntar sig kunder inom gateways, optiska nät, bilar, bärbara datorer, surfplattor, AR- och VR-headsets och telefoner.
