Genom att integrera acceleratorer för artificiella neuronnät lyckas Alif Semiconductor bygga en AI-lösning som är 800 gånger snabbare men ändå 76 gånger energieffektivare än en tidigare lösning som bara byggts av en ensam styrkrets-cpu. Smart strömstyrning spelar en nyckelroll.
När Arm i början av förra året presenterade en kombination av Cortex M-kärnan M55 och neuronkärnan Ethos U55, hävdade Arm att det skulle göra en dramatisk skillnad i prestanda för maskininlärning.
Och det tycks stämma när Arm nu visar upp en första kund som använder kombon i styrkretsar.
De kommer från Alif Semiconductor och heter Ensemble och Crescendo. Kretsarna kommer att demonstreras nästa vecka på Arm-konferensen Arm DevSummit som äger rum i en filial på det sociala forumet Discord.
Ensemble och Crescendo är tänkta att användas i sensorer som alltid är i drift. Som mikrofoner som alltid lyssnar efter ett ”Hej Google!” eller mobilkameror som letar efter kända ansikten som ska få dem att stänga av skärmlåset.
Versioner av Ensemble och Crescendo har dubbla uppsättningar av kombon U55–M55 integrerade. Ett par som alltid är aktiva och triggar exempelvis på ljud. Och ett par med mer minne och högre prestanda som typiskt vilar men som sporadiskt väcks, kanske för att analysera ljudet närmare.
Fyra kärnor låter som att det skulle innebära en stor ökad kostnad i strömförbrukningi jämförelse med en ensam kärna. Men det blir tvärtom i och med att det kraftfullare paret nästan alltid vilar.
Strömstyrningssystemet som får dem att växla effektivt mellan vila och arbete heter AIPM (Alifs Autonomous Intelligent Power Management) och är en av Alifs innovationer.
AIPM är nyckeln till att Alifs kretsar kan använda beräkningstung AI i även i strömsnåla inbyggda system.
På Arm DevSummit ska Alif demonstrera en lösning där Ensemble kontinuerligt lyssnar efter ett nyckelord vilket i sin tur triggar att bildigenkänningsalgoritmen MobileNetV2 körs.
Nyckelordsspaningen är enligt Alif och Arm 29 gånger snabbare och 33 gånger energieffektivare än en ensam Cortex M-krets skulle vara, per neuronnätsinferens. Och bildigenkänningen är 75 gånger snabbare och 76 gånger energieffektivare.
Om du tittar på det kompletta systemet med triggning följt av igenkänning skulle det ta 800 gånger mer tid för en ensam cpu att göra hela jobbet. Observera att den ensamma cpu:n i jämförelsen var en Cortex M4 och inte en Cortex M55. *
Jämförelsen visar skillnaden i AI-prestanda mellan vad Arm tidigare kunde erbjuda jämfört med vad Arm kan erbjuda idag med hjälp av Cortex M55 (som har en vektorinstruktionsuppsättning kallad Helium), dedikerade neuronkärnor, och Alifs smarta strömstyrning.
Bilden nedan visar ett utvecklingskort för Ensemble.
FOTNOT
* Uppgiften om Cortex M4 är tillagd den 19 oktober efter fråga till Alif-gruppen på Arm.