Teknologi

Anthropic slår på sikkerhetsreglene mot KI som forbedrer seg selv

Adrian Kessler
Legg oss til på Google

Anthropic har formelt konkludert med at kunstig intelligens nå fremskynder sin egen forskning så mye at selskapet krysser en grense det selv har satt. I det endrede prospektet før børsnoteringen skriver Claude-skaperen at selskapet har nådd terskelen for kapasitet innen AI-forskning og -utvikling i sin Responsible Scaling Policy – det interne regelverket som avgjør hvor mye sikkerhet og tilsyn modellene trenger. Policyen beskriver terskelen som starten på rekursiv selvforbedring: punktet der AI-systemer begynner å sette fart på arbeidet med å utvikle bedre AI.

Det uvanlige ved vurderingen er hva den ikke bygger på. Anthropic skriver at konklusjonen er trukket «på grunnlag av hva vi forventer av framtidige modeller og den samlede framdriften vår, snarere enn det vi har observert i dagens modeller». Ingen Claude-modell som er tilgjengelig på markedet, er vist å ha krysset grensen. Selskapet handler ut fra sin egen prognose, og forteller investorene om det før aksjene begynner å omsettes.

Dokumentasjonen selskapet viser til, er intern. I prospektet står det at Claude sto for mer enn 90 prosent av bidragene til Anthropics kodebase i løpet av én nylig måned, og at mengden kode hver ingeniør bidrar med per dag, har økt mer enn 45 ganger. Anthropic legger til at modellene «skriver en stor og stadig økende andel av koden vår og i økende grad utfører forskningen vår, også sikkerhetsforskningen».

Policyen beskriver to måter å nå denne terskelen på. Den ene er at en modell kan erstatte hele Anthropics stab av forskere og ingeniører fullt ut, til en konkurransedyktig kostnad. Den andre er en «dramatisk akselerasjon» i AI-utviklingen, som policyen definerer som omtrent to års framgang presset inn i ett år, noe automatisert forskning plausibelt kan drive fram. Siden denne andre testen slår inn dersom selskapet kan «observere eller forvente» et slikt sprang, er en prognose nok til å utløse den.

Å krysse grensen forplikter Anthropic til et mer omfattende sett med sikkerhetstiltak. Policyen krever «moonshot»-prosjekter for å beskytte mot de best utrustede angriperne i verden, og en ordning der «alt overvåkes»: Hver kritiske aktivitet innen AI-utvikling skal loggføres og analyseres av AI for å oppdage trusler, også fra interne aktører, enten de er mennesker eller maskiner. Selskapets interne red team må dessuten finne flere jailbreaks enn alle de eksterne forskerne i selskapets bug bounty-programmer til sammen. I prospektet står det at selskapet allerede har utsatt forhåndstreningen av en ny frontiermodell med mer enn en måned for å styrke beskyttelsen mot tyveri av modellvektene. Det vurderer også regler som krever at mennesker godkjenner enkelte forskningsbeslutninger, etter hvert som Claude utfører mer av arbeidet.

For dem som bruker Claude på jobb eller Claude Code, kan den praktiske konsekvensen bli at oppdateringer kommer saktere. I brevet fra grunnleggerne, som ble publisert sammen med IPO-materialet, står det at Anthropic noen ganger kan velge «å gå saktere fram enn vi kunne, for å gjøre systemene våre tryggere, selv om det setter oss i en konkurransemessig ulempe». Ingenting endres i appene i dag.

Vurderingen er en egenevaluering etter en frivillig policy som Anthropic selv har utarbeidet og kan endre, og ingen ekstern revisor har bekreftet den. Policyen erkjenner at terskelen «har vist seg vanskelig å gjøre operasjonell», og i innleveringen innrømmer selskapet at mye av dokumentasjonen bygger på etterslepende indikatorer. Dermed kan en reell akselerasjon først bli oppdaget etter at den har funnet sted. Risikobeskrivelser i et prospekt er dessuten også skrevet for å beskytte selskapet mot framtidige søksmål. En tidligere versjon av det samme dokumentet sa, slik Gizmodo rapporterte, bare at Anthropic «snart kan komme til å oppfylle» kriteriene.

Anthropic sier at selskapet fortsatt vurderer de underliggende dataene, og vil publisere flere rapporter om hva det innebærer å nå terskelen. Aksjene ventes å bli priset 18. november og begynne å omsettes på Nasdaq under tickeren ANT 19. november, med et foreslått prisintervall på 70 til 78 dollar per aksje. Foreløpig er Anthropics egen prognose det eneste beviset på at grensen er krysset.

Tagger: , , , , ,

Legg oss til på Google

Diskusjon

Det er 0 kommentarer.