About / Advertise
Innovativ teknik som analoga kretsar, memristorer och spiksignaler gör inte artificiella neuronnät effektivare. Det hävdar Nvidias chefsforskare Bill Dally.
AI-tekniken artificiella neuronnät är inspirerad av biologiska hjärnor. Men när näten implementeras i kommersiella halvledare idag, används huvudsakligen konventionell datorteknik, istället för så kallad neuromorf teknik som gör mer för att efterlikna hjärnors fysiska uppbyggnad.
Det beror helt enkelt på att det inte har dykt upp några konkurrenskraftiga alternativa arkitekturer. Det hävdar Bill Dally, chefsforskare på Nvidia.
I hans jobb ingår att spana efter innovationer på området. Hans arbetsgivare Nvidia dominerar marknaden för hårdvara för träning av neuronnät med modifierade versioner av konventionella grafikkretsar.
 |
| Bill Dally |
– Jag vet inte hur många förslag jag sett med olika sorters ickeflyktigt RAM och memristorer. Men energiförbrukningen landar alltid på ungefär samma nivå som för traditionella arkitekturer, säger Bill Dally till tidningen EE Times.
Analoga beräkningar sorterar Bill Dally in under rubriken ”sånt som inte funkar”.
– Jag har sett många presentationer, och jag tycker fortfarande det är spännande. Men när vi simulerar i Spice visar det sig att det inte fungerar. Det drar högre effekt än digitalt eftersom de analoga kretsarna läcker mer. Digital CMOS är mycket effektivt i låg precision.
Kretsar som kommunicerar med spikpulser – som biologiska hjärnor tycks göra – avfärdar han skämtsamt.
– Det är som att försöka bygga bättre flygplan genom att få dem att flaxa med vingarna. Att imitera hjärnan utan att ha en ordentlig förståelse är ingen bra idé.
Det här betyder inte att dagens neuronnätskretsar är helt konventionella. Beräkningselementen staplas så parallellt som det bara går. Och rörledningar byggs betydligt effektivare än i en cpu.
Ett lovande spår som utforskas är att minska precisionen i beräkningar och data. Att använda sextonbitars flyttal för träning av neuronnät, och att komprimera de färdiga näten till åttabitars heltal, betraktas som standard.
Tränade nät kan i vissa fall skalas ner till fyra eller två bitars noggrannhet. Eller så kan åtminstone vissa operationer i nätet, som den så kallade aktiveringsfunktionen, appliceras med lägre noggrannhet. Att träna näten med lägre precision än 16 bitar är också det ett spår som utforskas och verkar lovande.
Bill Dally och EE Times möttes på AI-konferensen SysML (system and machine learning). Den arrangerades för allra första gången den 15 och 16 februari i år, på Stanforduniversitetet. Apple, Facebook, Google och Microsoft var huvudsponsorer.
