About / Advertise
Kanadensiska Untether släpper ett AI-acceleratorkort som består av fyra exemplar av ett eget neuronnätschip. Låg precision och mycket minne på chipet ger kortet en imponerande prestanda.
Ytterligare en AI-krets har sett dagens ljus. Run AI 200 (runAI200) från kanadensiska Untether gör inferenser i artificiella neuronnät. Konkurrensen inom området är stor vilket är lättförklarligt – McKinsey & Company gissar att marknaden för inferenser i datacenter kommer att vara värd tio miljarder dollar år 2025.
Chipet tillverkas i 16 nm och består av 19,4 miljarder transistorer. Untether har använt strategin att trycka in massor av minne – 200 Mbyte fördelat på 511 banker – för att minska effekten av den flaskhals och energitjuv som extern minnestrafik utgör.
En annan strategi är att nöja sig med att räkna i åttabitars heltal istället för i 32-bitars flyttal. Det är ett slarv som tydligen straffar sig ganska lite, enligt Untether. Några undersökta standardnät tappar i precision såpass lite att det syns först i tredje decimalen: andelen fullt korrekta klassificeringar i neuronnätet ResNet-50 sjönk från 76,5 procent till 76,3. MobileNet sjönk från 71,7 till 70,6.
Chipet är optimerat för batchstorlek 1, det vill säga för att ge hög prestanda för enstaka klassificeringsuppdrag snarare än för en ström av vektorer. Det har i 960 MHz en maxprestanda på 0,5 petaops – 0,5 × 1015 operationer/s. Det kan också köras i ett ”eco-mode” på 720 MHz där det levererar åtta petaops per watt.
Acceleratorkortet Tsunaimi (tsunAImi) har fyra chip, summa två petaops, och ansluts via PCIe gen 4 x16. Det ska kunna applicera ResNet-50 på 80 000 bilder per sekund, eller hantera 12 000 förfrågningar per sekund på språkmodellen Bert.
Näten programmeras i TensorFlow eller Pytorch. Det finns funktioner för simulering och flaskhalsanalys, plus verkktyg för att forma nätet efter arkitekturen, inklusive att partitionera stora neuronnät på de fyra chipen.
Provexemplar finns nu. Volymer finns första kvartalet.
Untether grundades 2018 av branschfolk från bland annat AMD, XIlinx och Altera. Huvudkontoret är i Toronto. Finansieringen kommer från Radical Ventures och Intel Capital.
