About / Advertise
Vägen svänger åt vänster, men neuronnätet tror höger och rekommenderar bilen att köra in i vägräcket. Det är ett av de dramatiska fel som forskare identifierat i state-of-the-art-neuronnät för självkörande bilar.
Felet som nämns ovan finns i Nvidias självkörningsplattform Nvidia Dave-2, men forskarna har undersökt femton aktuella neuronnät och hittat tusentals fel.
– Den existerande självkörningstekniken – i alla fall för de djupa neuronnät vi testat – är inte vidare säker, särskilt när det gäller ovanliga extremfall, säger Suman Jana, en av forskarna, till Elektroniktidningen.
Är det ett teoretiskt eller praktiskt problem ni sätter fingret på?
– Felen vi hittat är reella praktiska problem, med dödliga konsekvenser. Den viktigaste lärdomen, tror jag, är att det finns mycket jobb kvar att göra innan självkörande bilar är säkra och kan tas i bruk.
Vänstersvängen som tolkas som en högersväng är en lite mörkare version av en bild som tolkas korrekt. Se bilden ovan!
Att forskarna så snabbt kunnat hitta tusentals fel, beror på att de tagit fram ett nytt verktyg, Deepexplore. De kommer att presentera det på söndag i Shanghai på konferensen Sosp (ACM Symposium on Operating Systems Principles).
Neuronnätsalgoritmer har de senaste åren revolutionerat maskinernas förmåga att identifiera föremål i bilder. I flera standardtester har de numera en prestanda som är i nivå med eller överträffar en människas resultat på samma data.
Problemet är att algoritmerna är svarta lådor – det är omöjligt att testa deras beteende fullt ut för alla teoretiskt tänkbara indata. En spännande utmaning som sysselsätter många AI-forskare just nu är att lysa upp hörnen i dessa svarta lådor för att förstå mer om hur de arbetar och kunna försäkra sig om att det är pålitliga.
Deepxplore släpps nu som öppen källkod. De femton nät som testats är nät för identifiering av trafikbilder, virus i pdf-filer och virus i Android-appar.
Forskarna kommer från Lehigh University och Columbia University.
