Du tillhör troligen inte den lilla skara som får använda AI-jätten Anthropics projekt Glasswing och dess språkmodell Mythos. Men tjeckiska Aisle hittade snabbt flera av Mythos buggar med enklare LLM:er. Och släpper sitt verktyg Nano Analyzer som öppen källkod.
Anthropic har väckt uppmärksamhet genom att presentera en LLM som enligt företaget är för farlig att släppas för allmänt bruk. Istället sätts den exklusivt i händerna ett fåtal företag och projekt.
Den hittar för många säkerhetshål. Mycket programvara skulle komprometteras om Mythos släpptes fri. Det sägs vara tanken bakom hemlighetsmakeriet.
Tjeckiska Aisle gör tvärtom och släpper sitt motsvarande verktyg Nano Analyzer som öppen källkod.
Du betalar förstås för din egen hårdvaruinfrastruktur. Men verktyget som sådant är fritt att ladda hem.
Det finns skillnader i hur Mythos och Nano Analyzer arbetar. Vem som hittar flest buggar per token eller buggar per dollar – Mythos eller Nano Analyzer – det återstår att se.
Eller kanske är det någon annan av de buggbottar redan finns på marknaden? AI-jättarna har egna verktyg. Dessutom finns företag och projekt som bygger buggbottar på de LLM:er som finns i ekosystemet.
Även Aisle har buggbottar före Nano Analyzer. De används bland annat i det svenska öppenkodsprojektet Curl.
Aisle tillhör pionjärgänget av bolag och säkerhetsforskare inom felsökning med hjälp av AI. Elektroniktidningen pratade med Aisle när området fick sitt breda genomslag i oktober i fjol.
Det är omöjligt att veta om Mythos i sig är ett stort genombrott inom AI-assisterad debugging. Anthropic har inte berättat hur effektiv Mythos är. Hur mycket betalade Anthropic per bugg i dollar, datortid och falsklarm? Hur många är säkerhetshål och hur många är skönhetsfel som inte ens behöver åtgärdas. Hur många buggar dubbelräknas i separata rapporter?
Mythos sägs ha hittat tusentals defekter. Det är ingen överraskande stor volym i sig.
Att AI hittar många säkerhetshål på en gång har varit en följetong i ett halvår. En av pionjärerna, säkerhetsforskaren Joshua Rogers, berättar för Elektroniktidningen att han vid det här laget ensam tror sig ha hittat fler än tusen säkerhetshål med hjälp av olika AI-verktyg.
Anthropics lansering har satt kodsäkerhet i rampljuset. Dels diskuteras användandet av AI för att hitta buggar.
– Mythos-nyheten har varit fantastisk för oss. Den har validerat hela området och tillvägagångssättet, säger Aisles vd Stanislav Fort till Elektroniktidningen.
Lanseringen av Nano Analyzer har väckt uppmärksamhet.
– Jag har haft supermycket att göra. Ursäkta att jag varit sen med att svara.
Diskussionen breddas även till att handla allmänt om säker programvara. På flera fronter borde kod och programvarusystem konstrueras med bättre verktyg och metodologi från början, för att innehålla färre buggar från början och för att minimera skadeverkningarna av de säkerhetshål som trots allt smyger sig in i kod och system.
Så fort som Anthropic annonserat Mythos kastade sig Aisle över de buggar som Mythos hittat. Och hittade några av dem på egen hand med hjälp av sex enklare modeller – från enkla LLM:er som GPT-OSS och Gwen Qwen 3 till Anthropics värstingmodell Opus 4.6.
Nano Analyzer kunde peka ut samma buggar efter att ha presenterats för de kodfiler som buggarna fanns i.
En intressant spaning var att olika modeller var olika duktiga på att identifiera olika buggar.
Aisle kallar det en "jagged frontier", en ojämn front. Små modeller var överraskande bra på vissa saker. Stora modeller överraskande svaga på andra.
– Tusen medelmåttiga spanare som letar överallt hittar mer än en ensam Sherlock Holmes som gissar var han ska leta, skriver Stanislav Fort.
Det betyder – tänker Elektroniktidningen – att du ska satsa på bredden med din AI-felsökning. Ta – i princip – hem alla verktyg du kan hitta, plugga in olika LLM:er och låt dem alla tugga i flera omgångar på din kod.
De är ickedeterministiska – hittar de inte en bugg i första körningen kan de göra det i den tionde körningen.
Nästa tips är att komma ihåg att generativ AI hallucinerar. En del av felrapporterna från buggbottarna kommer att vara nonsens – det var under en tid ett stort problem att nästan alla AI-genererade rapporter var nonsens.
Men precis som Anthropic låter Aisle rapporterna passera automatiska rimlighetskontroller innan de presenteras för utvecklaren – som ändå alltid till sist gör det sista urvalet. Det går inte att ta buggbottens felrapporter eller rättningsförslag för givna.