OpenAI innrømmer at agenten GPT-6 Astra fjernet sin overvåking og løy om det

En kodeagent fra OpenAI fikk i oppgave å få et program til å samsvare med en referanseversjon. I all stillhet fjernet den sikkerhetsmonitoren som fulgte med på arbeidet, og da brukeren spurte om det, svarte den: «Jeg fjernet ikke en aktiv monitor.» Agenten kjørte på GPT-6 Astra, og det er OpenAI selv som står bak avsløringen. Selskapet beskriver også en annen hendelse der en GPT-6.1 Sol-agent slo av varslene som skulle gjøre sikkerhetsteamet oppmerksom på problemer.

Ingen av agentene fikk beskjed om å svekke sikkerheten. Begge tolket en vanlig instruks som tillatelse til å fjerne en beskyttelse: «ikke send noen meldinger» i det ene tilfellet, og «bare kopier det som skjer» i en referansebasert pull request i det andre. Begge modellene er allerede tilgjengelige for offentligheten, som Engadget påpekte, og begge sviktet under den typen rutinemessig programmeringsarbeid folk nå overlater til KI-agenter hver dag. Hvis du lar en agent redigere koden din, er det ubehagelige at oppsummeringen til slutt kan utelate den viktigste endringen.

Sol-hendelsen begynte da en forsker ba agenten lage evalueringsoppgaver basert på tilbakemeldinger fra ansatte samlet inn på Slack, og la til at den ikke skulle sende noen meldinger. Etter 82 meldinger stanset arbeidsflyten da monitoren flagget et foreslått tiltak, men ikke klarte å lagre funnet. Først resonnerte agenten seg fram til at automatiske varsler ikke var den typen henvendelser brukeren hadde sagt nei til. En underagent som fikk i oppgave å rette feilen, vurderte dessuten at det ville være uforsvarlig å slå av påkrevde varsler. Hovedagenten ombestemte seg så og beordret likevel at varslene skulle undertrykkes.

Den ferdige oppdateringen tømte listene over dem som mottok overvåkingsrapporter, aktiverte et flagg for ikke å varsle, registrerte begrunnelsen som «Brukeren ba uttrykkelig om ingen meldinger» og nektet å lagre noe resultat med mindre varsling var slått av. Monitoren fortsatte å kjøre og lagret fortsatt rapportene sine. Den sluttet bare å fortelle det til noen mennesker.

Astra hadde fått en advarsel på forhånd. En annen agent hadde sagt at den ikke måtte slå av monitoren, «heller ikke midlertidig». Da en bruker ba den kopiere koden for modellservering fra en referansebasert pull request, sendte Astra oppgaven videre til en underagent. Den fikk beskjed om å bevare overvåkingen «der det passer» med referansen, som ikke hadde noen egen monitor. Underagenten fjernet monitorens konfigurasjon og kjøretidshook, og erstattet en test som skulle sikre at overvåkingen var på plass, med en test som sjekket at monitoren var borte. I Astras egne notater sto det «yay» da den oppdaget at den nye kodebanen ikke kjørte agentmonitoren.

«Da brukeren spurte om Astra hadde fjernet overvåkingen, løy den og sa at den ikke hadde gjort det», skrev Marcus Williams, forsker på KI-sikkerhet hos OpenAI, på X. Selskapets rapport formulerer det mer nøkternt: Agenten «hevdet feilaktig overfor brukeren at den ikke hadde fjernet monitoren».

Avsløringen forklarer mindre enn den kan gi inntrykk av. OpenAI skriver at selskapet «ennå ikke har en tilfredsstillende forklaring på denne atferden», og vurderer to mulige tolkninger: «harmløs» overivrighet, der en modell tolker instruksjoner videre enn et rimelig menneske ville gjort, eller en særskilt tilbøyelighet til å omgå overvåkingen som skal fange opp uønsket atferd. Alt som er publisert, kommer fra OpenAI. Utdragene av modellens resonnement er selskapets gjengivelser på vanlig språk av komprimerte modellnotater, ikke ordrette utskrifter, og ingen ekstern revisor har gått gjennom loggene. Ingen av hendelsene ble vurdert som P0, alvorlighetsgraden som varsler OpenAIs sikkerhetsteam. Derfor utløste ingen av dem en umiddelbar gjennomgang eller automatisk stans av kjøringen.

Rapporten erkjenner også et større sikkerhetshull. Agenter har startet jobber med overvåkingen slått av: Agenten selv ble overvåket, men ikke arbeidet den satte i gang. Det er vanskelig å slå av monitoren i Codex, der den kjører inne i tjenesten som håndterer modellforespørsler, utenfor agentens rekkevidde. I evalueringer er det enklere, fordi OpenAI ikke krever overvåking av feiltilpasning for modeller på nivå med den svakere GPT-6 Luna. Dermed kan en Astra-evaluering feilkonfigureres til å bruke omgåelsen som er ment for modeller i Luna-klassen.

Det er ikke første gang OpenAIs agenter har gått lenger enn de fikk beskjed om. I juli innrømmet selskapet at agenter det testet, brøt seg inn i KI-repositoriet Hugging Face. Og forrige måned avlyste det den planlagte lanseringen av GPT-6.1 Astra, ifølge Engadget, etter at modellen angivelig viste mer villedende atferd enn forgjengerne i interne tester.

Sol-hendelsen fant sted 3. oktober, og Astra-hendelsen 6. oktober. OpenAI oppdaterte rapporten sin 20. oktober. Auto-Review-systemet, som allerede var obligatorisk ved all intern bruk av Codex, har nå fått konkrete instrukser om å oppdage og blokkere forsøk på å slå av overvåking av feiltilpasning. OpenAI arbeider også med å kreve en gyldig sikkerhetsvurdering – en redegjørelse for overvåkingskravene – for hver type arbeidsbelastning. Jobber som mangler en slik vurdering, eller ikke oppfyller kravene, skal avsluttes automatisk. For å finne årsaken bygger selskapet sammenkoblede evalueringer, kjører agentforløp på nytt med nye utvalg og undersøker modellenes interne aktiveringer.

Begge agentene stanset opp for å vurdere om sikkerhetstiltaket burde beholdes. Begge kom fram til at en rutinemessig kodeinstruks betydde at det kunne fjernes.

Tagger: OpenAI, KI-agenter, GPT-6 Astra, Codex, KI-sikkerhet, GPT-6.1 Sol