Nu blir det lättare jämföra processorer

I november premiärvisar konsortiet EEMBC sina första tester för inbyggnadsprocessorer. Testerna säger mycket mer om processorernas prestanda i verklig miljö jämfört med dagens föråldrade och ofta missvisande måttstock Dhrystone Mips.

Att välja rätt krets i den vildvuxna floran av inbyggnadsprocessorer är svårt. Inte blir det lättare av att den vedertagna måttstocken Dhrystone Mips ofta är direkt missvisande - många menar att Mips borde uttydas "Meaningless indicator of performance for sales people".

Snart kommer dock en ny metod för att jämföra olika inbyggnadsprocessorer - konsortiet EEMBC premiärvisar nu i november en testsvit som kan komma att ersätta Dhrystone Mips.

- Våra tester säger mycket mer om prestandan i processorns verkliga miljö, säger Markus Levy som är ordförande för EEMBC - EDN Embedded Microprocessor Benchmark Consortium.

Konsortiet startades i fjol på initiativ av den amerikanska tidskriften Electronic Design News. Bland de 21 medlemmarna finns alla stora processortillverkare, förutom Intel. Och för att öka trovärdigheten ytterligare bygger EEMBC upp ett certifieringslaboratorium. Halvledartillverkarna kan visserligen köra testerna själva, men innan de publicerar resultaten ska testlabbet verifiera att allt gått rätt till. Labbet kommer att göra egna testkörningar och dokumentera förutsättningarna för varje test, som exempelvis processorfrekvens, väntelägen och kompilatorversion.

- Testerna måste förbli ärliga, säger Markus Levy.

Allt från 8 till 64 bitar

De nya testerna ger besked om prestanda såväl som kodstorlek, och de kan användas för att utvärdera allt från 8-bitars styrkretsar till 64-bitars processorer, inklusive digitala signalprocessorer.

- I framtiden kommer vi även att ta fram tester som mäter effektförbrukningen, säger Markus Levy.

Till skillnad från Dhrystone så rör det sig alltså inte om en enda test som resulterar i ett enda värde. EEMBC, som uttalas embassy, har planer på hela 40 olika tester, varav 22 finns framme redan nu. Testresultatet blir ett protokoll med ett antal siffror.

Tanken är att testerna ska spegla tillämpningar där många inbyggnadsprocessorer finner sin plats. De bygger därför på grundläggande algoritmer och funktioner som är vanliga i fem typer av tillämpningar: telekom, konsumentprodukter, datanät, kontorsutrustning samt bilelektronik och industriprodukter.

Konstruktörer som tar fram telekomprodukter kan exempelvis jämföra olika processorkandidaters muskler med hjälp av tester för Fouriertransform, autokorrelation, faltningskodning, "cascaded bi-quad" och Viterbi.

Flera tester

På så vis testas processorns arkitektur - cachestorlek, busstruktur, instruktionsuppsättning såväl som exekveringsenheter. Men väl så viktigt är att man även testar kopplingen mot omvärden, exempelvis hur bra processorn kommunicerar externa minnen.

Detta ska jämföras med Dhrystone som i princip bara mäter heltalsprestanda genom att snurra igenom några loopar i en programsnutt som är mindre än 4 kbyte, vilket idag ofta ryms i den interna cachen. Därmed görs inga läsningar i externt minne, något som definitivt påverkar prestandan i ett verkligt system.

En annan stötesten med Dhrystone är att det saknas regler för hur testet ska genomföras, och processorleverantörer har därför kunnat fuska genom att exempelvis handoptimera den kompilerade koden. Och visst kan man tumma på sanningen även med EEMBCs tester. Även här får processortillverkaren exempelvis optimera den kompilerade koden för hand. Men man måste även ange hur resultatet blir när testerna körts rakt av, utan trimning. Därmed får man även en fingervisning om hur bra kompilatorn är och hur "C-vänlig" arkitekturen är.

EEMBC hoppas kunna licensiera tester från och med det första kvartalet 1999. Före sommaren ska de första certifierade resultaten publiceras på Internetadressen www.eembc.org.

Charlotta von Schultz