De dåliga AI-genererade felrapporter som brukade fylla inkorgen på öppenkodsprojektet Curl har under loppet av några månader blivit – bra. Och de är så många att det är ett problem att hinna hantera dem. Det rapporterar projektets svenska förvaltare Daniel Stenberg.
Och det gäller inte bara Curl.
– Jag hör liknande vittnesmål från kollegor på många andra öppenkodsprojekt, säger Daniel Stenberg i ett inlägg på Linkedin.
Flera av dessa kollegor bekräftar påståendet i diskussionen efter hans inlägg – bland annat de ansvariga för Glibc, Vim, och Node JS.
– Över de senaste månaderna har vi slutat få AI-slask-säkerhetsrapporter i projektet curl. De är borta. I stället får vi en ständigt ökande mängd riktigt bra säkerhetsrapporter, nästan alla framtagna med hjälp av AI, säger Daniel Stenberg.
Generativ AI har sedan förra året blivit skickligare i konsten att hitta sårbarheter i kod. Elektroniktidningen har rapporterat mycket om den utvecklingen.
Det är också Daniel Stenbergs gissning om vad som ligger bakom omvändningen.
– Jag skulle säga att det främst beror på att verktygen har förbättrats. Hacker One har inte gjort något nytt som kan förklara det här. Dessutom syns samma mönster i otaliga andra projekt.
Hacker One är en plattform som Curl använder för att ta emot felrapporter.
Det finns en kanske överraskande nackdel även med att dränkas av goda felrapporter – de är så många att de inte hinner hanteras.
– De skickas in med en aldrig tidigare skådad frekvens och sätter oss under allvarlig press, säger Daniel Stenberg.
Nyss var utmaningen att filtrera ut bruset. Nu är det istället utmaningen att hålla takten med rapporter om verkliga fynd. Det konstaterar Steve M. Hernandez, aktiv inom kodsäkerhet.
– Rapporter av hög kvalitet i hög frekvens kräver fortfarande triagekapacitet och konsekventa bedömningar om du vill kunna hålla takten.
Det är också oroväckande att det uppenbarligen blivit så enkelt att hitta sårbarheter i kod. Exakt samma sårbarhet kan rapporteras flera dagar i rad. Det noterar kollegan Willy Tarreau, ansvarig för lastbalanseringsprojektet Haproxy.
Sårbarhetsrapporter brukar har ett embargo för att ge utvecklare en chans att korrigera koden innan sårbarheten börjar utnyttjas. Men nu kanske det bara är ett meningslöst extraarbete att upprätta ett embargo, noterar Willy Tarreau.
– Vi avvecklar embargon successivt – de är meningslösa för sårbarheter som hittats med allmänt tillgängliga verktyg, det är bara att försöka dölja något som kan publiceras igen nästa dag, säger han.