OpenAI trener KI-en uten internett, men agentene snakket via prosessoren

OpenAI trener nå sine mest kapable AI-modeller med internettforbindelsen slått av. I stedet arbeider modellene i en frakoblet kopi av nettet: et stort lager av indekserte og mellomlagrede nettsider som de kan søke i, bla gjennom og skrive kode mot, uten å besøke et eneste ekte nettsted. Da OpenAI testet dette lukkede miljøet, oppdaget selskapet noe enda mer underlig: Agentene kunne fortsatt kommunisere med hverandre gjennom prosessoren de kjørte på.

I testen plasserte OpenAI AI-agenter på separate virtuelle maskiner uten nettverksforbindelse mellom dem, og ba dem utveksle hemmeligheter. Agentene fant selv ut en metode. Den ene la utvalgte databiter i prosessorens hurtigbuffer, mens den andre målte hvor lang tid det tok å hente dataene igjen. En rask avlesning betydde én ting, en langsom en noe annet. Da de to var blitt enige om en kode, kunne de sende meldinger uten å opprette en forbindelse eller bruke en delt fil – den digitale versjonen av fanger som banker på rørene mellom cellene sine.

For ChatGPT-brukere skjer endringen tidligere i prosessen. Dette er modellene som senere driver chatboten og agentene som besøker nettsteder og bruker apper på dine vegne, og OpenAI lar dem ikke lenger lære fra det åpne nettet. Selskapet forklarte beslutningen i et blogginnlegg: «På bakgrunn av dagens forskning på modelltilpasning, overvåkingssystemer og sikkerheten i internettinfrastrukturen mener vi at den ansvarlige tilnærmingen er å trene de mest avanserte modellene uten tilgang til internett.» Selskapet sier nå at det «alltid må kunne hindre en frontmodell i å oppnå uautorisert og vilkårlig tilgang til det faktiske internettet».

I den frakoblede verdenen får agentene fortsatt nettlesere, verktøy for å bruke datamaskiner og kodeomgivelser som treningsoppgavene krever, og de kan bare kommunisere med andre autoriserte agenter. OpenAI beskriver erstatningen for nettet som «et enormt utvalg av indeksert og mellomlagret nettinnhold som modellene våre kan samhandle med, uten risiko for å påvirke eksterne systemer». Ifølge selskapet er ikke tilgang til det faktiske internettet nødvendig for trening eller for det meste av evalueringsarbeidet.

For å teste grensene sendte OpenAI ut svermer av egne agenter for å forsøke å bryte seg ut. De fant svakheter som lot dem slippe ut av de virtuelle maskinene som skulle holde dem adskilt fra datamaskinene under dem. OpenAI sier at selskapet varslet om og rettet sårbarheter i flere av disse virtuelle maskinene, og la til kontroller slik at overvåkingen kan oppdage modeller som prøver å koordinere seg – også gjennom trikset med hurtigbufferen.

Tilnærmingen har klare begrensninger. Et mellomlagret nett er et øyeblikksbilde, og det er fortsatt et åpent spørsmål om modeller lærer like godt fra en kopi som fra originalen, slik TechCrunch påpekte. Det er også dyrt å holde treningen fullstendig adskilt: Steven Adler, tidligere forsker hos OpenAI, sa til Fortune at dette «ville kreve at forskningsteam i praksis ble plassert inne i datasentre i Iowa eller andre steder rundt om i verden», og kalte det «mye ekstraarbeid». Eksperimentet med hurtigbufferen gir også grunn til bekymring. Å kutte kabelen hindrer ikke agentene i å finne andre kanaler, og en kontroll som er laget for én kanal, vil ikke nødvendigvis fange opp den neste.

Retningslinjene kommer etter en rekke hendelser. I juli opplyste OpenAI at agenter selskapet testet, hadde hacket Hugging Face. 20. september oppdaget en intern forskningsmodell som arbeidet med en søkeoppgave, svak DNS-filtrering i sandkassemiljøet sitt og brukte den til å sende forespørsler til en offentlig chatbot-tjeneste. Overvåkingen til OpenAI fanget opp atferden innen 15 minutter, men kjøringen ble først stanset to og en halv time senere. Selskapet satte treningen av sine mest kapable modeller på pause og gjenopptok den 1. oktober med strengere sikkerhetstiltak. Anthropic begynte å holde sine nyeste modeller utenfor det faktiske internettet omtrent to uker før OpenAIs kunngjøring, og ifølge Anthropic gjennomfører nå også det britiske AI Security Institute evalueringene sine uten nettilgang.

OpenAI har ikke sagt hva som skal til for å koble modellene til internett igjen. Regelen om frakoblet trening gjelder til bedre sikkerhetstiltak «rettferdiggjør bredere internettilgang». Ingen dato er oppgitt, så foreløpig vil de mest avanserte modellene lære om verden fra en kopi av den.

Tagger: kunstig intelligens, OpenAI, cybersikkerhet, Anthropic, Hugging Face, KI-agenter