About / Advertise 
JAN TÅNGRING:
AI är finfin felfinnare
– vad händer nu?
Elektroniktidningens nyhet att AI hittat 50 buggar i filbiblioteket cURL är stor inom både AI och programmering. Det är en milstolpe i mötet mellan de två.
Jag kan förstå om folk rycker på axlarna. Rubriker om AI säger att chattbottarna snart är gudar. Att hitta några buggar är väl ingen konst för dem?
Se vår nyhet från igår (länk).
Men för det första tror jag inte att de kommer att bli gudar. För det andra var det nu det hände. Nu vet vi – nu har vi bevis på – att generativ AI systematiskt och automatiskt kan lokalisera en hel klass av buggar som ligger bortom klassiska buggverktygs förmåga.
Klassiska kodfelfinnare tittar syntaktiskt på koden efter mönster som matchar kända klasser av buggar. Det nya som LLM:erna (de stora språkmodellerna) tillför är språkförståelse. De kan läsa dokumentation, kommentarer och standarder – och koden i sig – och förstå vad det är meningen att koden ska göra. De kan därmed se motsägelser och larma för dessa.
Sedan förra året finns verktyg hos bland annat Google som kan utnyttja den förmågan för att hitta kodfel. Allteftersom har det även börjat dyka upp kommersiella verktyg.
Joshua Rogers letade upp några av dem och applicerade dem på några öppenkodsprojekt. Och hittade dussintals gamla buggar, svagheter, misstag, inkonsekvenser och sårbarheter i koden – sammanfattningsvis ”fel” av olika allvarlighetsgrad.
Det är en klass av fel som inte har kunnat hittas automatiskt förut. Hundratusentusentals sådana kodfel ligger garanterat och väntar på att bli upptäckta i kommersiell och öppen källkod. De kommer att upptäckas pö om pö under de kommande två, tre åren, allteftersom de nya verktygen börjar användas. Joshua Rogers har skrivit in sig i historien som pionjär.
Därefter kommer det att lugna ner sig. En klass av tidigare bekämpningsmedelsresistent ogräs rensas bort. Medlen kommer att integreras i byggkedjorna (cURL-projektet grubblar just nu på hur) och rensa dessa buggar när de är plantor. Det var den utveckling vi såg när exempelvis fuzzing dök upp som sårbarhetsverktyg, påpekar Joshua Rogers.
Det finns fler nyttiga LLM-baserade klasser av utvecklingsverktyg därute som fortfarande ligger och väntar på att börja tas i bruk i stor skala, trots att de har potential att göra stor skillnad. Industrin är trög.
Exempelvis verktyg som automatiskt dokumenterar kod och verktyg som analyserar kravspecifikationer.
Ett tips till läsaren är att beskriva din verksamhet och dina processer för Chat GPT och fråga vilka LLM-baserade verktyg som finns som kan underlätta vardagen för ditt företag.
