About / Advertise
Återigen har forskare lyckats överlista en automatisk vägmärkesläsare att uppfatta fel vägmärke. Amerikanska forskare visar att det är möjligt att plantera en bakdörr i neuronnät för bildigenkänning.
En postit-lapp över stoppmärket var allt som krävdes. Och plötsligt registrerades stoppmärket som en hastighetsskylt av bildigenkänningsalgoritmen.
För tre veckor läste du på etn.se om ett liknande hack där en vägmärkesläsare lurades att se fel märken.
Men den attacken gjordes i omvänd ordning. Den gången skapade forskarna en korrekt klassificierare och räknade därefter ut hur ett vägmärke skulle modifieras för att klassificeraren skulle göra ett misstag.
Den här gången har forskarna med flit skapat en klassificerare som tror att en stoppskylt med en postitlapp i hörnet, egentligen är en hastighetsskylt.
Detta har forskarna gjort genom att visa klassificeraren foton av stoppmärken med postitlappar på, och samtidigt påstått att de föreställer hastighetsskyltar. Neuronnätet har helt enkelt snällt lärt sig den regeln.
Forskarna kallar det feltränade neuronnätet för ett Badnet.
Forskarna ger en säkerhetsrekommendation. Använd bara neuronnät som du vet är skapade av en pålitlig källa. Det räcker inte med att du testar ditt nät och finner att klassificerar korrekt för alla dina testfall. För det kan ha en bakdörr av det här slaget – en finurlig modifiering som inte finns bland dina testfall.
Bluffen var robust. Forskarna tränade sitt Badnet på amerikanska trafikmärken. Därefter klippte de ut en bit av sitt Badnet och använde det som bas för ett nät som tränades att känna igen svenska vägskyltar – forskarna kallar det för ”Swedish Badnet”.
Trots att endast korrekt klassificerade svenska vägmärken användes som träningsdata – här bluffades inte med postitlappar – följde bakdörren delvis med från Badnet till Swedish Badnet – en postitlapp fick klassificeraren att göra fler misstag.
Att göra på det viset – att använda en bit av ett tränat nät som bas – är ett vanligt arbetssätt som kallas Transfer learning. Man använder den del av nätet som analyserar de fina detaljerna i bilden – de linjer och enkla geometriska objekt som bygger upp den större bilden.
Träning tar mycket processorkraft och tid och Transfer learning spar in mycket av den tiden.
Forskarna som hittade bakdörren jobbar på New York university och deras forskningsrapport finns här (länk).
Vägmärkesigenkänning är bara ett exempel på ett system som kan få en bakdörr.
Forskarnas nästa steg är att bygga en bakdörr i ett system som känner igen ansikten. Med ett sådant Badnet kan man kanske gömma sig för videoövervakningssystem eller för militära drönare.
I ett annat projekt modifiera forskarna röststyrning så att vissa ord tolkas fel om de uttalas med en viss accent eller av en viss röst.
Dessutom grubblar forskarna mycket på om det är möjligt att lyfta på locket på ett artificiellt neuronnät och upptäcka att de innehåller en bakdörr.
