JavaScript is currently disabled.Please enable it for a better experience of Jumi. Lataste AI-kretsen närmar sig volym

EMBEDDED WORLD Man behöver inte göra om ­samma beräkning om indata är desamma som förra gången. Med denna enkla insikt spar en neuronnätskrets från franska GML energi vid kameraöver­vakning.

Det är uppenbart i teorin att det går att spara resurser på att inte repetera samma beräkning. I praktiken faller det dock ofta på att det tar ungefär lika mycket tid att kolla att värdena är desamma som att utföra beräkningen – så strunt samma!

Men säg att det handlar om en stillastående videokamera som filmar en tom gård på natten. Vid AI-objektigenkänning är beräkningarna omfattande. Ett skred av beräkningar sker genom ett nätverk av koefficienter. 

Därför utför GML:s neuronnätskrets beräkningar endast på bildpunkter som förändrats. 

Artikeln är tidigare publicerad i magasinet Elektroniktidningen.
Prenumerera kostnadsfritt!

Kameraövervakning –  där det sällan händer nåt i bild – är ett tydligt exempel på var strategin kan löna sig. Men enligt GML ska kretsen även kunna användas för att hantera mer dynamiska videoströmmar, för att exempelvis förvandla en drönare till en målföljande robot.

Kretsen fick pris i kategorin Embedded Vision under Embedded World 2022. 

GML (Grai Matter Labs) är ett franskt företag som spanns av från Sorbonne­universitetet i Frankrike år 2016. Grundaren är inte längre anställd, men konsulteras nöär det behövs.

Det finns en sensortyp som är lat på samma sätt som denna AI-krets, nämligen händelse­kameror. Sådana registrerar endast uppdaterade bildpunkter. I ledningen för GML hittar du ­intressant nog två personer från schweiziska händelsekamera­tillverkaren Prophesee. Kanske är det möjligt att göra en kombinera den lata kameran med det lata neuronnätet?

Biologiska nervsystem sägs reagera endast på förändringar, så därför kallas både AI-kretsen och händelsekameran för ”neuromorfa”.

Den första prototypen av GML:s chip tillverkades år 2020. I våras annonserades den första volymversionen, Grai VIP.  Det mäter 8×8 mm och tillverkas i 12 nm.  

Eftersom bildigenkänning är den stora tillämpningen har chipet utrustats med inte mindre än två stycken Mipi-kameragränssnitt. 

Arkitekturen tar ut tidsvinsten i form av minskad latens. GML åberopar sin egna tester som stöd.  En mätning på prototypchipet Grai One ska ha dragit ner fördröjningarna från 40 till 2 millisekunder vid körning av neuronnätet Pilotnet. 

I det nya chipet Grai VPI ska en inferens i nätet Resnet-50 klaras av på några få millisekunder. 

Kort latens ger snabb reaktionstid vilket kan vara skillnaden som avgör om en robot överhuvudtaget kan fås att fungera. 

Mer effektkrävande AI-kretsar kanske kan leverera samma latens, men då sätter istället strömförsörjningen en gräns för hur liten du kan bygga exempelvis en snabbflygande drönare.

Konceptet får konsekvenser för arkitekturen. Det måste finnas ett lokalt minne på chipet för att minns den förra matrisen av indatapixlar. 

Dessutom har GML med tiden gjort erfarenheten att beräkningarna behöver ske i 16-bitars flyttal för att det ska gå att upptäcka förändringar i indata.  

Nackdelen är att med 16 bitar ökar minnes- och beräkningskraven, medan konkurrerande strömsnåla kretsar ofta använder åttabitars heltal i sina nät. 

Men det finns också fördelar. Nätträning sker i 32 bitar och när precisionen efteråt ska sänkas för att spara resurser, är det svårare och kostar det mer utvecklingstid att ta det större klivet ner till åtta bitar. Det är inte bara att stryka värdesiffror, utan ett krav är att verifiera att det bantade nätet är hyfsat ekvivalent med det tränade nätet.

Med 16 bitar blir det även lättare att göra andra optimeringar, som att komprimera nätet – att skära av grenar som inte gör skillnad och att sänka precisionen lokalt i det tränade nätet – ända ner till fyra bitar. 

En komprimering kan krympa bort 90 procent av nätet. GML säger sig ha tillämpningar där de 16 skarpa bitarna visar sig vara en nyckel till att faktiskt nå realtidsprestanda. 

Av de 50 anställda sitter runt 20 mjukvaruutvecklare i Frankrike och lika många hårdvaruutvecklare i Nederländerna. Några av de sistnämnda har en bakgrund på Intel.

GML har fått investeringar på 55 miljoner euro. 

Här är prestanda

Efter att vi träffade GML på mässan Embedded World i juni, har GML presterat benchmarks. 

Att köra ett neuronnät avsett för bildtolkning i mobila robotar (MobileNet v1–SSD) med 30 bilder per sekund kostar 184 mW. Det är enligt GML är 20 gånger effektivare än att göra det i en grafikprocessor vilket varit standardlösningen idag i väntan på mer skräddarsydda kretsar.

Grai VIP summerade i augusti ihop sina förhandsbeställningar på chipet till en miljon dollar. Bland de som utvärderar chipet finns minst två biltillverkare

Här är hårdvaran

Grai VIP-chipet innehåller 144 beräkningskärnor i ett nätverk, två DSP-utrustade Cortex M7-cpu:er och 36 Mbyte minne som rymmer 48 miljoner vikter.

Det som finns att beställa är en utvecklingssats med kamera­modul, Smarc-kort och ett M.2-kort med en VIP-krets.

Partnerna ADLink, Framos och ERM tar fram hårdvara kring kretsen. Framos har en plattform för datorseende kring sin djupkamera D435e för industriellt bruk. Adlink pluggar in M.2-kortet i sitt Smarc-kort I-Pi. Och ERM adderar en robotarm till ett utbildningspaket.

MER LÄSNING:
 
KOMMENTARER
Kommentarer via Disqus

Anne-Charlotte Lantz

Anne-Charlotte
Lantz

+46(0)734-171099 ac@etn.se
(sälj och marknads­föring)
Per Henricsson

Per
Henricsson
+46(0)734-171303 per@etn.se
(redaktion)

Jan Tångring

Jan
Tångring
+46(0)734-171309 jan@etn.se
(redaktion)