Ingen kategori av processorer är hetare än AI, så nu släpper brittiska IP-jätten Arm en byggsats som låter dig skräddarsy AI-optimerade processorer för din nästa laptop, pekplatta, mobil eller smartklocka.
Mycket av din interaktion med AI idag går över molnet. Bara genom att trycka in AI-beräkningskraft i den lokala processorn vinner användaren i latens, integritet och oberoende.
Förr i tiden levererade Arm bara enskilda kärnor för kunden att själv pussla ihop till systemkretsar. Men idag kan du alltså utgå från kompletta testade system – compute subsystems – och dra ner utvecklingstiden från år till månader, om man får tro Arm.
Arm Lumex heter denna CSS, som utgår från Arms senaste Armv9.3-CPU:er och den nya GPU:n Mali G1-Ultra.
En stor vinst med Lumex ska bli kortare fördröjningar i röstbaserad interaktion. Arm hävdar även att en Lumex-processor exempelvis kan göra AI-brusreducering av 4K-video i 30 bildrutor/s.
Spannet i prestandatillämpningar är brett, så du kan välja cpu i kategorierna Ultra, Pro, Premium och Nano – den sistnämnda för exempelvis wearables.
För att få upp prestanda på matrishungriga AI-operationer, stöder Ultra och Pro SME2 (Scalable Matrix Extensions 2). Det ska vara den största enskilda faktorn till att Lumex ökar AI-prestandan hela fem gånger jämfört med tidigare systemlösningar på Arm-IP.
Arm anger att latensen i Whisper Base minskats 4,7 gånger – det är en AI-modell som används för röst-till-text. Stability AI Stable Audio blir 2,8 gånger snabbare – den används åt andra hållet, text-till-röst.
GPU:n ökar ”bara” sin AI-inferensprestanda 20 procent. Lika mycket ökar den sin grafikprestanda, bland annat på grund av en enhet för strålspårning (raytracing).
Läs vad Phoronix skriver om Lumex (länk).