De första resultaten i en preliminär version av prestandamåttet MLPerf har presenterats och Nvidias trimmade grafikprocessorer besegrar Googles skräddarsydda neuronnätsprocessorer i alla kategorier de båda lämnat in resultat för.
Innan du bestämmer dig för vems hårdvara du vill köpa eller hyra i molnet, vill du förstås kolla upp priser. Men faktum är att Googles system baserade på de egna neuronnätsprocessorerna TPUv2 och TPUv3 får se se sig besegrade i resultattabellerna av Nvidas grafikprocessorsystem DGX-1, DGX-2 och DGX-2H.
Den sistnämnda är den vassaste. Lådan väger 160 kg och mäter 80x40x50 cm (se bild ovan). Prestanda anges till 2,1 petaflops vilket skulle ha gjort den till världens snabbaste superdator sommaren 2010.
DGX-2H drar 12 kW och innehåller 16 stycken Tesla V100-processorer. Nvidia refererar till dem som GPU:er, grafikenheter, men de är optimerade för maskininlärningsberäkningar sedan flera generationer. De innehåller tillsammans 92160 beräkningskärnor.
Nvidia V100 härstammar evolutionärt från företagets grafikkärnor, medan Googles TPU:er är skapade från ett blankt ark för att göra neuronnätsberäkningar. TPUv3 presenterades i somras.
Det som mäts i testet är hur effektivt systemet kör algoritmer för så kallad maskininlärning – att programmera artificiella neuronnät av olika slag till att känna igen objekt i bilder, göra en översättning eller ge en rekommendation baserad på tidigare val.
Där finns sammanlagt sju olika tester. Varje deltest får sin egen poäng som helt enkelt är tiden det tar innan den iterativa justeringen av neuronnätet har konvergerat till att ett kvalitetsmått är uppnåt, exempelvis att andelen felaktiga kategoriseringar av testdata ligger under en viss procent.
Den stora brasklappen för testet är att det ännu bara är version 0.5.0. Det kallas för en alfa-release och testet kan komma att förändras i kommande versioner genom att utökas med fler deltest, större testdatavolymer eller striktare konvergenskrav.
Google anser till exempel att det vore mer realistiskt att använda betydligt större dataset till några av testerna.
Version 1.0 av MLPerf av ska släppas nästa år.
Det är bara Nvidia, Google och Intel som lämnat in testresultat. Intels resultat ligger långt efter Nvida och Google. Intel ställer upp med Xeon-cpu-system, inga nya spännande AI-processorer från uppköpet Nervana som liksom Googles TPU är skräddarsydd för maskininlärning.
Ingen har lämnat resultat för alla de sju deltesten, och det finns många underkategorier som ingen alls lämnat resultat i. Det gäller exempelvis i den öppna kategori som tillåter dig att trimma algoritmerna för att utnyttja din hårdvara bättre.
I Googles eget pressmeddelande om nyheten låter det nästan som om Google är segraren, ”Google Cloud offers the most accessible scale for machine learning training”. Google har bland annat räknat ut att dess TPUv3:s prestanda ”per kärna” är 19 procent bättre än Nvidias snabbaste system.