I Vetenskapsrådets pilotundersökning studerade analytikern Staffan Karlsson 180 ansökningar inom områden signaler och system samt cell- och molekylärbiologi. Av de 180 hade 12 fått högsta betyg, en femma. Men ingen av dessa hörde till de mest citerade. Och de ansökningar som citerats mest hade fått medelmåttiga betyg, treor eller fyror.

Resultatet är intressant eftersom Vetenskapsrådet funderar på att använda denna typ av bibliometriska uppgifter som underlag för bedömning av framtida ansökningar om projektbidrag. Något förenklat ska många citat öka möjligheten att få mer forskningspengar. Nu konstaterar rådet att den metoden kräver en mer utarbetad policy.

Rådet är också väldigt försiktigt med att dra några slutsatser av pilotstudien.

- Det finns inga skäl att ifrågasätta den betygssättning som gjorts. De ansökningar som fått högsta betyg kan vara av högsta klass även om den sökande ännu inte hunnit bli citerad efter förtjänst. Dessutom är hög citering inte detsamma som hög kvalitet, konstaterar Stefan Karlsson i Vetenskapsrådets tidning Forskas webbutgåva.