OpenAI-modell «rømte» – hacket konkurrent

OpenAI erkjenner det selskapet beskriver som en historisk sikkerhetshendelse: Selskapets mest avanserte AI-modeller utnyttet flere sårbarheter og brøt seg inn i Hugging Faces (et samfunn for deling av åpne AI-modeller) infrastruktur under en intern evaluering.

OpenAI-modell fant en vei ut av testmiljøet: hacket konkurrent

Hendelsen fant sted under testing av modellene GPT-5.6 Sol og en enda kraftigere modell som ennå ikke er lansert. For å måle de reelle egenskapene var flere av de vanlige sikkerhetsbegrensningene bevisst deaktivert.

Testen modellen forsøkte å løse var ExploitGym, et forskningsprosjekt utviklet for å måle hvor godt LLM-agenter kan omgjøre kjente programvaresårbarheter til fungerende dataangrep. Testen består av hundrevis av virkelige sårbarheter fra blant annet Linux-kjernen, Googles V8 JavaScript-motor og vanlige programvareprosjekter.

Ifølge OpenAI var testmiljøet isolert fra nettet, men modellene brukte betydelige beregningsressurser på å finne en vei ut. De oppdaget en tidligere ukjent null-dagssårbarhet i en mellomtjener for programvarepakker, utnyttet denne og arbeidet seg videre gjennom OpenAIs interne forskningsmiljø til de nådde en maskin med internettilgang.

Da modellene først var på nettet, konkluderte de med at Hugging Face kunne inneholde modeller, datasett eller løsninger knyttet til sikkerhetstesten de forsøkte å løse.

OpenAI opplyser at modellene deretter kombinerte flere angrepsmetoder, blant annet stjålne innloggingsopplysninger og ytterligere null-dagssårbarheter, for å oppnå ekstern kodekjøring på Hugging Faces servere. Målet var å hente hemmelig informasjon fra produksjonsdatabasen for å løse testoppgaven.

Oppdaget av sikkerhetsteamene

OpenAIs sikkerhetsteam oppdaget den uvanlige aktiviteten internt, mens Hugging Faces egne sikkerhetssystemer identifiserte og stanset angrepet i produksjonsmiljøet. De to selskapene samarbeider nå om en full etterforskning av hendelsen.

OpenAI understreker at det ikke finnes bevis for at modellene hadde andre mål enn å løse evalueringen de var satt til å gjennomføre.

Som følge av hendelsen innfører OpenAI nå strengere kontroller rundt testmiljøene sine, selv om det vil redusere forskningstempoet. Selskapet har også varslet leverandøren av den utnyttede null-dagssårbarheten og samarbeider med Hugging Face om både etterforskning og forbedrede forsvarsmekanismer.

OpenAI mener hendelsen viser at dagens mest avanserte AI-modeller er i stand til å gjennomføre komplekse cyberoperasjoner over lang tid og oppdage nye angrepsveier uten tilgang til kildekoden. Selskapet peker på at dette gjør det enda viktigere å utvikle sikkerhetsmekanismer i takt med den raske utviklingen av kunstig intelligens.

– Vi tror avanserte AI-modeller må hjelpe sikkerhetsteam med å finne svakheter før angriperne gjør det, skriver OpenAI.

Vi er takknemlige for samarbeidet med OpenAI om denne og andre problemstillinger. Denne hendelsen, som muligens er den første i sitt slag, bekrefter noe vi lenge har ment: AI-sikkerhet kan ikke løses av ett enkelt selskap som arbeider bak lukkede dører. Den må løses gjennom åpent samarbeid, med bred tilgang til kunstig intelligens for alle som jobber med å beskytte systemer og infrastruktur over hele verden.

Clem Delangue, medgründer og administrerende direktør, Hugging Face