About / Advertise
Åttabitars flyttal vid träning av djupa neuronnät och ynka fyra bitar vid användning – mer behövs inte enligt IBM-forskare. Det betyder att kommande AI-kretsar från IBM kan slimmas i storlek och energiförbrukning eller göra mellan två och fyra gånger mer träning på samma tid.
Resultaten presenteras på Neurips, en konferens om neurala informationsbehandlingssystem som just nu pågår i Kanada. IBM visar upp kommande AI-kretsar i 14 nm som använder den låga precisionen.
Åttabitars flyttal, FP8, är en halvering av FP16 som varit något av en standard för träning av djupa neuronnät sedan 2015, enligt IBM.
Närmare bestämt används idag FP16 för att hålla beräknade värden och FP32 för att ackumulera summan vid beräkningar av skalärprodukter. IBM halverar båda dessa precisioner och får samma prestanda i resulterabde nät för analys av text, tal och bild.
På samma sätt har FP8 – som IBM nu gör i FP4 – varit en standard för inferens.
Företaget är så säkert på sina resultat att det spår att branschen kommer att följa efter.
– Trots att det tidigare ansågs omöjligt att ytterligare reducera den precision som används vid träning, förväntar vi oss att vår åttabitarsplattform för träning kommer att adopteras brett som branschstandard under de kommande åren, skriver företaget i ett pressmeddelande.
Med halverad precision går beräkningarna snabbare. Detsamma gäller datatransporten. Och minneskraven halveras. Träning i strömsnåla ändnoder blir mer realistisk. Liksom arkitekturer som är optimerade för både träning och inferensdragning.
En fascinerande innovation i träningsalgoritmen, som är viktig för att den ska fungera, är att den avrundar nätets vikter ”stokastisk”. Vid vanlig avrundning avrundas till närmaste heltal. Vid stokastisk avrundning bestämmer avståndet till heltalet bara sannolikheten för att talet ska avrundas dit.
