About / Advertise
AMD:s nästa generation Instinct-processorer är anpassade till generativ AI i samarbete med AI-mjukvaruprojekten Hugging Face och Py Torch.
Den nya familjen heter MI300 och är avsedd både för träning och inferens. Den använder en arkitektur kallad CDNA3.
Den första modellen släpps i provexemplar under tredje kvartalet till nyckelkunder. Den heter MI300X och är en ren gpu tillverkad i 5 nm FinFet med chiplets staplade i 3D och länkade med AMD Infinity Fabric.
En annan familjemedlem heter MI300A och innehåller även den integrerade cpu:er. Den finns i provexemplar hos kund redan nu.
 |
| Antalet transistorer summerar sig till 146 miljarder. Ytan är drygt tio kvadratcentimeter. |
AMD kallar MI300X för världens kraftfullaste AI-accelerator och jämför den med Nvidias sifferkrossare Hopper H100: MI300X har en minneskapacitet på 192 GB HBM3 mot 80 GB för H100.
Löpande beräkningskapacitet är 5,2 TFLOPS vilket ska vara ”mer” än H100 levererar.
 |
| Den här serverkombon med åtta acceleratorer lär du även få se i AI-superdatorer. 600 watt per chip ska kylas bort. |
Stort minne är en stor fördel för stora språknät vilket är den tillämpning alla är nyfikna på. Här lyckades AMD i början av juni köra språknätet Falcon med 40 miljarder parametrar i precisionen FP16 på en EPYC 9654 (en cpu med 96-kärnor) kopplad till en ensam MI300X i en OAM-modul med 192GB HBM3. Kombinationen drog 750 W.
Detta var alltså prestanda för en enda MI300X-accelerator. AMD presenterade även en modul kallad Instinct Platform med åtta stycken.
Att det finns ett mjukvaruekosystem på plats är fundamentalt när du lanserar ny hårdvara. Därför har AMD engagerat språkmodellsforumet Hugging Face och det öppna maskininlärningsprojektet Py Torch för att uppdatera stödet för AMC Instinct i det existerande ekosystemet ROC M, för acceleratorer i datacenter.
ROC M 5.4.2 stöder PyTorch 2.0 på samtliga AMD Instinct-processorer. Här finns bland annat en samling färdiga AI-modeller redo att laddas på MI300.
Hugging Face har som uppdrag att optimera modellerna ännu mer inte bara för Instinct utan även för AMD:s cpuer, gpuer och FPGA:er (Ryzen, EPYC, Radeon, Versal och Alveo).
