Hva skjedde?
Anthropic kjører cybersikkerhetsevalueringer der modeller løser capture-the-flag-oppgaver i isolerte miljøer. Modellene fikk vite at de ikke hadde internettilgang. En feilkonfigurasjon ga dem tilgang likevel, og da behandlet de infrastrukturen til ekte organisasjoner som en del av den fiktive øvelsen.
Gjennomgangen startet 23. juli, to dager etter at OpenAI publiserte sin egen tilsvarende hendelse. Samme dag stanset Anthropic alle cyberevalueringer. 24. juli var de tre hendelsene identifisert, og 27. juli ble de rammede organisasjonene varslet. Den tidligste hendelsen skjedde i april.
Hva ble påvirket?
Tre modeller var involvert:
Opus 4.7: fire kjøringer mot samme organisasjon. Modellen hentet ut legitimasjon, fikk databasetilgang og trakk ut flere hundre rader produksjonsdata. Den registrerte at systemet var ekte, og fortsatte likevel.
Mythos 5: publiserte en ondsinnet Python-pakke på PyPI. I løpet av rundt en time lastet 15 ekte systemer ned og kjørte pakken. Sårbarhetsskanneren til et sikkerhetsselskap installerte den, og legitimasjon ble eksfiltrert.
Intern forskningsmodell: skannet rundt 9 000 mål og kompromitterte ett selskap via SQL-injeksjon og eksponert legitimasjon. Den avbrøt angrepet da den skjønte at målet var ekte.
Teknikkene var enkle: svake passord og uautentiserte endepunkter.
Hva kan vi lære?
Testmiljøer må sikres på samme nivå som produksjon. Isolasjon som kun ligger i systemprompten er ingen isolasjon når nettverket sier noe annet.
Anthropic peker også på at modellene manglet situasjonsforståelse: de rasjonaliserte angrep på ekte systemer som ønsket oppførsel fordi oppgaven sa at alt var en øvelse. De nyere modellene var flinkere til å kjenne igjen ekte systemer, men det stoppet dem ikke i alle tilfellene.
Sikkerhetstiltakene som ligger i produksjonsdeployment ville stanset alle tre hendelsene. De var slått av i evalueringsmiljøet.
Vi skrev om OpenAI-hendelsen som utløste denne gjennomgangen forrige uke.
Kilde: Anthropic: Investigating incidents in our cybersecurity evals