About / Advertise 
Att Anthropics omtalade språkmodell Mythos hittat tiotusen sårbarheter är bara halva berättelsen. Enklare buggbottar hittar samma buggar.
Amerikanska AI-jätten Anthropics omtalade språkmodell Mythos har hittills hittat fler än tiotusen sårbarheter hos de 50 företag som fått access till den. Dessutom har den hittat 3900 sårbarheter i drygt tusen öppenkodsprojekt.
Siffrorna presenterades i en uppdatering av buggjaktsprojektet Glasswing som Anthropic presenterade den 7 april.
Språkmodellen Mythos blev världsberömd när Anthropic bestämde att endast en utvald skara företag skulle få använda den – den var ett för stort cyberhot för att släppas allmänt. Femtio ”samhällsviktiga” bolag har exklusivt fått söka buggar i sin egen mjukvara – för att inte angripare skulle hitta dem först.
Klockan 19:27 svensk tid den 22 maj hade de femtio hittat sammanlagt ”fler än tiotusen” allvarliga eller kritiska sårbarheter. Typiskt ”hundratals” per projekt. Cloudflare ska exempelvis ha hittat 2 000 buggar varav 400 allvarliga eller kritiska sårbarheter.
Utöver de femtio hade Mythos scannat ett drygt tusental öppenkodsprojekt. Den granskningen sker i allas intresse – IT-allmännyttan är i stor utsträckning byggd av öppen källkod.
Också här strömmade buggfynden. Analysen är inte klar utan 3 900 är en prognos på hur många sårbarheter – allvarliga eller kritiska – som kommer att finnas kvar när mänskliga experter rensat falsklarmen.
Experter har sista ordet. Exempelvis hade 88 procent av de sårbarheter som Mythos klassat som ”kritiska”, nedgraderats ett steg till ”höga”, ibland ännu lägre.
Uppskattningsvis 530 faktiska sårbarheter hade den 22 maj rapporterats vidare till projekten. Av dem hade 65 publicerats. Andra väntade på att deras embargo skulle gå ut. Buggar publiceras av uppenbara skäl helst inte innan rättelser kommit på plats. Å andra sidan är det en regel som buggbottarnas snabbhet håller på att göra verkningslös.
Ytterligare fynd väntas allteftersom Anthropic gräver vidare med Mythos.
De kommer fortlöpande att presenteras på Anthropics Red Team-webbplats.
Några projekt har bett Anthropic att avvakta med att skicka fler rapporter tills de hunnit hantera de rapporter de redan fått.
Siffran 3 900 gäller bara allvarliga och kritiska sårbarheter. Allmänna buggar och defekter hade Mythos hittat många fler: 23 019 stycken.
Det finns ingen klar förklaring på varför, men Mythos har hittills bara hittat en (1) sårbarhet i det svenska öppenkodsprojektet Curl. Den fick lägsta klassen ”låg” och kommer att publiceras i juni.
Daniel Stenberg, projektets förvaltare, hade tagit spjärn för mycket mer. Han sticker ut hakan.
 |
| Daniel Stenberg |
– Min personliga slutsats kan inte bli någon annan än att den stora hajpen kring den här modellen huvudsakligen var marknadsföring.
Utfallet blev en antiklimax. Som en duktig katt släpade Mythos fram fem fynd och kallade dem ”bekräftade sårbarheter”. Men Curl ratade fyra.
Daniel Stenberg har inget emot att sticka ut hakan. Det är delvis strategiskt. Han vill gärna ha fler buggrapporter.
– Folk kommer nu att vilja visa att jag har fel och köra ännu mer AI på Curl.
En förklaring till det ynkliga fyndet kan vara att Curl redan gått genom AI-skärselden. Curl var snabbt ute och introducerade AI-verktyg i sin kodgranskning när de började bli effektiva för 8–10 månader sedan.
Curl har använt AI-verktyg från Aisle, Zeropath, Open AI, Github och Augment. Dessa AI-verktyg – i experters händer – har rensat ett par, tre hundra buggar från Curl. Det finns kanske helt enkelt inte så många sårbarheter kvar för Mythos att hitta? Curl stoltserar även med ett omfattande säkerhetsprogram i övrigt.
Daniel Stenberg betonar att han inte alls tvivlar på AI-verktygens effektivitet, tvärtom.
– AI-drivna kodanalysatorer är betydligt bättre på att hitta säkerhetsbrister och misstag i källkod än vad traditionella kodanalysatorer någonsin var. Alla moderna AI-modeller är bra på det här nu. Vem som helst med tid och lite experimentlusta kan hitta säkerhetsproblem nuförtiden.
– Alla projekt som inte har skannat sin källkod med AI-drivna verktyg kommer troligen att hitta en stor mängd brister, buggar och möjliga sårbarheter med den här nya generationens verktyg.
Enklare AI-verktyg hittar samma buggar som MythosTjeckiska Aisle har släppt ett gratis verktyg som hittar samma buggar som Mythos, men med hjälp av äldre modeller.
 Amazon, Apple och andra samhällsviktiga företag fått exklusiv access till Anthropics LLM Mythos för att hinna laga sin källkod innan offensiva aktörer om ett halvår har lika kraftfulla verktyg. Men att det finns ett andrum kan vara en illusion. AI-buggsniffare finns på marknaden sedan i höstas. Och de har hittat mängder av buggar. Tjeckiska Aisle gjorde tvärtom. De släppte en buggsökare som öppen källkod. Trots att den hittat samma säkerhetshål som Mythos. Och till och med hål som Mythos missat. Är er Nano Analyzer en lika kraftfull modell som Mythos?
– Nej, inte alls, säger Jaja Baloo, operativ chef och en av Aisles grundare. – Vi hittar samma typer av sårbarheter som Anthropic hittat, men det handlar mindre om själva modellen och mer om det som finns runtomkring: harness, scaffolding, systemet. Man missar poängen om man stirrar sig blind på hur kraftfull modellen är. Är ni ansvarslösa som släpper Nano Analyzer fritt? – Nano Analyzer vibbkodades bokstavligen på en helg. Om vi kan göra det här på en helg med öppna modeller, så kan vilken motiverad angripare som helst med lite tid och tålamod göra långt mer med långt mindre. Aisle är pionjärer inom AI-debugging. På sin Wall of Fame har Aisle 221 stycken verifierade sårbarhetsfynd varav 85 av minst ”hög” kritikalitet. De har hittats i 56 projekt från A till Z – från Amazonkrypto till Zulip (en chattklient). Aisle testade med framgång Mythos paradexempel på olika existerande LLM:er – från enkla som GPT-OSS och Qwen 3 till Anthropics egen tidigare värstingmodell Opus 4.6. En intressant spaning blev att olika modeller visade sig olika duktiga på olika buggar. Små modeller var överraskande bra på vissa saker. Stora modeller överraskande svaga på andra.
– Tusen medelmåttiga spanare som letar överallt hittar mer än en ensam Sherlock Holmes som gissar var han ska leta, reflekterar Aisles vd Stanislav Fort. Precis som Anthropic låter Aisle AI-rapporterna passera genom automatiska rimlighetskontroller för att minska volymen falska positiva – sådana var ett stort problem i öppenkodsvärlden förra året. Dessutom får en mänsklig utvecklare göra det sista urvalet. För det går aldrig att ta AI:s slutsatser och kod för given. LLM:er hallucinerar och missar poängen. Även amerikanska Theoris har dokumenterat hur det hittat Mythos paradexempel och ytterligare sårbarheter som Anthropics inte nämnt. Att Mythos hittar bokstavligen tusentals buggar har fått vissa att höja ögonbrynen. Men att AI gräver upp stora volymer gamla buggar har i själva verket varit en följetong sedan i höstas. Det var då som AI fick sitt genombrott som ett nytt effektivt sätt att jaga buggar.
– Allt detta demonstrerar egentligen bara att det mesta av den programvara vi använder idag inte är säker – var det någon som trodde något annat? säger Joshua Rogers, en pionjär inom AI-buggjakt som på egen hand hittat fler än tusen buggar under det dryga år som han experimenterat med Zeropath, Almanax, Corgea och andra verktyg. |
