H100 är lite mindre än företrädaren A100 – 814 mot 826 kvadratmillimeter

H100 använder en ny arkitektur kallad Hopper och tillverkas i processen 4N hos taiwanesiska TSMC. A100 tillverkas som jämförelse i 7 nm och använde en arkitektur kallad Ampere. 

A100 och H100 kallas av historiska skäl för grafikprocessorer men på 00-talet började sådana optimeras för generella numeriska beräkningar, de senaste åren särskilt för maskininlärning.

Ett exempel är att H100 introducerar ett nytt numeriskt åttabitarsformat för neuronnät kallat FP8 som ska ge en ensam H100 en maxprestanda på 4000 teraflops – logiskt nog dubbelt så mycket som du får med FP16.

Den har dessutom inbyggd intelligens för att själv kunna välja mellan FP8 och FP16 efter vilken precision som situationen kräver.

Ett par exempel på dess ökade neuronnätsprestanda är att system på H100 ska kunna göra nio gånger snabbare maskininlärning och 30 gånger snabbare inferens – det senare för vissa språknät.

Processorn består av tusentals beräkningskärnor och en nyhet i Hopper är att dessa kan partitioneras virtuella processorer, upp till sju stycken.

Alla nyheter i Hopper handlar inte om AI. Den har fått nya instruktioner för så kallad dynamisk programmering som används bland annat för algoritmer för robotsvärmar, genberäkningar och kvantdatorer. Hopper  kommer nu att kunna hävda sig bättre på mot FPGA:er inom dessa områden. 

Nvidias vd Jensen Huang presenterade H100 och Hopper igår på en utvecklarkonferens. Dessutom presenterade han hårdvara som H100 kommer att sitta i – som acceleratorkort, molnservrar och superdatornoder.

H100-processorer och superdatornoder börjar skeppas tredje kvartalet detta år. En superdator kallad Eos byggs på H100-processorer och ska visas upp senare i år.

En del av prestandahoppen är fusk – en H100-processor drar 700 watt mot 400 watt för A100. Det här får som konsekvens att superdatorer på H100 tar mer plats än superdatorer på A100, för att klara luftkylning. 

Hopper är döpt efter datorpionjären Grace Hopper och Nvidia lanserad idag en kompletterande cpu-processor kallad Grace. Under första halvan av nästa år kommer företaget att släppa datorkort kallade Grace Superchip och Grace Hopper Superchip.

Systembyggare kommer att kunna pussla samman egna lösningar av Nvidiasystem, -kort, -kretsar och -chip och förbinda dem med Nvidias protokoll NVLink C2C (chip-to-chip).

Det kommer till och med att finnas Nvidia-chiplets som utöver NVLink C2C stöder Intels nylanserade standard UCIe.

Detta är en spännande nyhet som säkert kommer att få mer uppmärksahet. Nvidia ställde sig utanför lanseringen av UCIe så sent som i början av månaden.

Inte bara gpuer och cpuer kommer att finnas som chiplets utan även dpuer och nicer. Dpuer är big data-processorer och nicer är nätverksprocessorer.