Israeliska Ceva släpper en kärna för neuronnätsinferenser som är skalbar från 20 till 1200 biljoner operationer per sekund.
Kärnan heter Neupro M och är avsedd för tillämpningar inom fordon, industri, 5G, mobiltelefoner, övervakningskameror och kantberäkningar. Prestanda ska vara mellan fem och femton gånger högre än föregångaren i andra generationen.
Den ger 24 Tops per watt när den gör inferenser i ett bildigenkänningsnät av typen Resnet50.
Kärnan ska kunna konfigureras till att hantera ”alla kända neuronnätsarkitekturer” och dessutom ett antal framtida, som transformers, 3D convolution och self-attention.
Den sägs vara optimerad för 250 neuronnät, 450 AI kernels och 50 algoritmer.
Ett exempel på en konfigurering är NPM11 som har en ensam ”motor” och en toppfart på 20 Tops i 1,25 GHz. NPM18 har åtta motorer och en toppfart på 160 Tops i samma klockfrekvens – som synes skalar prestandan upp helt linjärt med antalet motorer.
Det som Ceva berättar om arkitekturen är att den är heterogen och består av ett antal coprocessorer och konfigurerbara hårdvaruacceleratorer av olika slag. Här är några av de komponenter som Ceva använder för att pussla ihop olika konfigureringar: Mac-enheter i mixed precision på mellan två och 16 bitar bitar, sparsitymotorer som hoppar över multiplikation med noll och vektorenheter som hanterar allt från 2 till 32 bitars precision.
Ceva bjuder även på ett verktyg för att komprimera djupa konvolutionsnät. Det ska kunna sänka strömförbrukningen till mellan en femtedel och en tiondel med minimal påverkan på noggrannheten. Bland annat används så kallade Winogradtransformationer som halverar beräkningstiden genom att avrunda vikter och aktiveringar till åtta bitars precision till priset av mindre än en halv procents noggrannhet.
Vikter och data kan komprimeras ner till ynka två bitar när de lagras, för att sänka bandbreddskraven och snabba upp läsning.
Här finns också ett inbyggt skydd mot piratkopiering av de tränade neuronnätens vikter i form av ett root-of-trustsystem.
Vad gäller fordonsmarknaden så ska NeuPro-M och plattformens kompilator både uppfylla fordonssäkerhetsstandarden ISO 26262 Asil B, liksom kvalitetsstandarderna IATF16949 och A-Spice.
Ledande kunder har redan börjat utveckla med NeuPro-M och den kommer att finnas för allmän licensering under andra kvartalet.