About / Advertise 
Ett cybersäkerhetsföretag har hittat ett säkerhetshål i amerikanska AI-bolaget Anthropics AI-baserade utvecklingsmiljö Claude. Det är lite pinsamt eftersom Claude har egna verktyg som söker efter sårbarheter i kod — varför hittade Claude inte sin egen sårbarhet?
Anthropic har visat sig slarva med säkerheten. Det gick att addera data till projekt innan uppladdaren hade gått igenom säkerhetskontrollen.
Upptäckten gjordes i fjol av det amerikanska säkerhetsbolaget Checkpoint, som gnuggade händerna och laddade upp data som innehöll kommandon till Claude att exponera dokument som borde varit hemliga.
Därefter har Checkpoint berättat för Anthropic om fyndet. Och nu – när Anthropic hade fått tid på sig att korrigera felet – berättar Checkpoint för världen om sitt fynd.
Det finns en aspekt på sårbarheten som är AI-relaterad.
Att ladda upp data är normalt inte samma säkerhetsrisk som att ladda upp kod. Men problemet med LLM:er är att de inte kan skilja mellan data och kod. Checkpoint behövde inte hacka sig igenom några avancerade skydd. Bara lägga text – med insmugna kommandon – där de visste att Claude skulle läsa den.
The Register ger tekniska detaljer om denna sårbarhet, och ytterligare två.
Att slarva med säkerhetskoll på indata är annars i sig en klassisk kategori av problem.
– Dålig filtrering av indata ett av dom absolut vanligaste problemen sedan … alltid, kommenterar svenska cybersäkerhetsexperten Joachim Strömbergson.
– Slarv med API-nycklar, dålig separation och rättigheter är sååå mycket vardag. Det fanns innan cloud, det fanns innan konceptuellt innan webben ens fanns.
Nu över till pinsamheten.
Elektroniktidningen har berättat om Anthropics nya AI-buggjägare Claude Code Security – en automat som läser programkod och hittar svagheter.
Anthropic nämnde i sin pressrelease i förbigående att Security söker sårbarheter i Anthropics egen kodbas.
– Vi har funnit att den är extremt effektiv när det gäller att säkra Anthropics system, säger Anthropic.
Jaså? Men det fanns alltså minst en sårbarhet som Security missade – den som Checkpoint nu hittade.
Claude hittar sårbarheter i andras kod, men missade en i sin egen.
– En klassisk "skomakarens barn"-situation, kommenterar Claudes kollega Gemini för Elektroniktidningen.
Det är inte den skämskudde det kanske låter som. LLM:er är inte fullkomliga. Just den här biten kod kanske Security aldrig ens fick titta på?
Och även om Security tittade på koden, så är Security oförutsägbar, som alla LLM-baserade algoritmer. Nästa gång den fått titta på koden skulle den kunna ha upptäckt tankefelet.
Så är det att arbeta med LLM-bottar. Ibland slår de huvudet på spiken. Ibland är de ute och cyklar. Det gäller lika mycket för Chat GPT som för de AI-bottar som professionella kodare använder.
