Nate Soares, KI-forskeren som har sluttet å spare til pensjon

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Født	1989
Yrke	KI-forsker

Nate Soares har fortsatt pensjonskontoen han opprettet da han jobbet i Google. Han har ikke satt penger inn på den på rundt ti år. Det skyldes ikke skjødesløshet: Presidenten for Machine Intelligence Research Institute tror at overmenneskelig kunstig intelligens sannsynligvis vil drepe alle før han blir gammel nok til å bruke pengene, og nå sier han det offentlig med den nøkterne roen til en ingeniør som leser opp et testresultat. «Jeg er egentlig ikke en fyr som tror AI kommer til å utslette jobbene», sa han til en intervjuer i høst. «Jeg er en fyr som tror AI dreper alle mennesker.» Spørsmålet som driver arbeidet hans, er det han nekter å behandle som avgjort: om man fortsatt kan få dem som bygger teknologien, til å stanse, selv om man forventer det verste.

Det som gjør ham vanskelig å avfeie, er bakgrunnen hans. Soares er ingen filosof som begynte med datateknologi sent i livet. Han studerte informatikk og økonomi ved George Washington University, før han utviklet programvare for den føderale staten, først som forskningsmedarbeider ved National Institute of Standards and Technology og deretter som konsulent for forsvarsdepartementet, der han laget verktøy for National Defense University. Så fulgte Microsoft og Google – den typen selskaper han nå ber myndighetene legge begrensninger på.

I 2014, midt i tjueårene (han ble født i 1989), sluttet han i Google for å begynne i en liten ideell organisasjon i Berkeley i California. I årevis hadde den stilt et spørsmål det meste av bransjen regnet som science fiction: Hvordan får man et sinn som er smartere enn ens eget, til å gjøre det man mente? Som forsker ved MIRI ble han hovedforfatter av instituttets tekniske forskningsagenda, skrevet sammen med Benya Fallenstein og senere utgitt under tittelen «Agent Foundations for Aligning Machine Intelligence with Human Interests». I januar 2015 ble agendaen sitert i «Research Priorities for Robust and Beneficial Artificial Intelligence», artikkelen av Stuart Russell, Daniel Dewey og Max Tegmark som fulgte et åpent brev. Brevet oppfordret AI-forskere til å ta samfunnsnytten av systemene sine like alvorlig som den rå kapasiteten.

I samme periode kom artikkelen som ga fagfeltet en del av vokabularet sitt. «Corrigibility», skrevet sammen med Fallenstein, Eliezer Yudkowsky og Stuart Armstrong og presentert på en AAAI-workshop tidlig i 2015, tok for seg et problem som høres enkelt ut, men ikke er det: Et system som er avansert nok til å være nyttig, kan også være avansert nok til å motsette seg korrigering eller å bli slått av. Soares og Yudkowsky sier at artikkelen introduserte uttrykket «AI alignment problem» – begrepet som nå brukes av de samme laboratoriene som de motsetter seg planene til.

Senere i 2015 tok Soares over etter Luke Muehlhauser som daglig leder for MIRI, en stilling han hadde i åtte år. Under hans ledelse arbeidet instituttet med abstrakt matematikk snarere enn produkter: beslutningsteori, logisk usikkerhet og det formelle spørsmålet om hvordan en agent bør resonnere om seg selv. Han skrev sammen med Scott Garrabrant og andre «A Formal Approach to the Problem of Logical Non-Omniscience», og «Cheating Death in Damascus», en artikkel om beslutningsteori skrevet sammen med Benjamin Levinstein, som kom på trykk i The Journal of Philosophy i 2020. I 2017 dro han tilbake til Google for å holde et foredrag der han la fram de uløste problemene innen alignment og argumenterte for at de var vanskeligere enn fagfeltet trodde. På bloggen sin, Minding Our Way, skrev han også Replacing Guilt, en serie essays om motivasjon som leserne nå kan kjøpe som bok. I enkelte miljøer ble han dermed bedre kjent for råd om hvordan man får arbeidet gjort enn for noe han skrev om maskiner.

Vendepunktet kom i 2023. MIRI kunngjorde at instituttet flyttet oppmerksomheten bort fra alignment-forskning og over mot å advare politikere og offentligheten, samtidig som det fortsatt ville støtte noe teknisk arbeid. Soares gikk fra å være daglig leder til å bli president, og Malo Bourgon ble administrerende direktør. I 2025 fortalte Soares The Atlantic at han konsentrerte seg om å øke bevisstheten i offentligheten fordi utviklingen av AI gikk for raskt til at man kunne få på plass gode nok sikkerhetstiltak.

Dette skiftet munnet ut i If Anyone Builds It, Everyone Dies, skrevet sammen med Yudkowsky og utgitt av Little, Brown i september 2025. Argumentet står i tittelen. En superintelligens bygget «med noe som ligner dagens teknikker» vil svært sannsynlig føre til at menneskeheten utslettes. Alignment-forskningen er langt fra å være klar, og bare internasjonal regulering kan hindre utviklerne i å kappes om å lage systemer forfatterne mener er katastrofalt farlige. Boken kom på The New York Times’ bestselgerliste i oktober 2025. Deretter fulgte en spansk utgave fra Planeta, og Hayakawa Shobo ga ut en japansk oversettelse i april 2026.

Mottakelsen avdekket det svake leddet i argumentasjonen. Noen av de skarpeste innvendingene kom fra folk som deler forfatternes bekymring. Will MacAskill, en av grunnleggerne av effektiv altruisme-bevegelsen, kalte boken skuffende og sa at den bygget på svake argumenter, blant annet en analogi med evolusjon, og på en uuttalt antakelse om at utviklingen innen AI vil ta et sprang i stedet for å gå gradvis framover. Clara Colliers anmeldelse i Asterisk hadde en tittel som oppsummerte frustrasjonen blant lesere som ellers var på forfatternes side: «More Was Possible». Det er også et ubehagelig aspekt ved saken som Soares sjelden går nærmere inn på. MIRI forsøkte i årevis å løse alignment-problemet, før instituttet konkluderte med at det ikke ville lykkes i tide. Det kan tolkes som intellektuell redelighet eller som en innrømmelse av at instituttets eget forskningsprogram mislyktes. Soares forsvarer vissheten sin med en sjakkanalogi: Han kan være sikker på at Magnus Carlsen ville slått ham uten å vite hvilken brikke som setter matt. For kritikerne er det nettopp dette som er problemet – en spådom om slutten uten noen forklaring på trekkene.

Ingenting av dette har gjort ham mindre urokkelig. I oktober 2026 sa han i The Most Interesting Thing in AI, podkasten ledet av Nicholas Thompson, at han vurderer det som mer sannsynlig enn ikke at menneskeheten ikke får et tiår til. Han forklarte også hvorfor han lar 401(k)-kontoen stå urørt. I samme samtale insisterte han på at utfallet ikke er gitt på forhånd. «Jeg gjør alt jeg kan for å hindre at dette skjer. Jeg tror ikke det er uunngåelig», sa han, før han viste til C.S. Lewis’ essay «On Living in an Atomic Age». Lewis argumenterte for at hvis bomben faller, bør den finne mennesker som gjør fornuftige, menneskelige ting, ikke mennesker som sitter skrekkslagne og gjemmer seg. Soares’ versjon lyder slik: «La den finne oss mens vi ber myndighetene våre om avtaler som hindrer spredning av atomvåpen.»

Det er denne oppgaven han har valgt. Han er fortsatt president for MIRI og bruker tiden på intervjuer, foredrag og orienteringer som skal gjøre en bekymring fra en liten forskningsfløy til en internasjonal avtale om å stanse kappløpet mot superintelligens. Pensjonskontoen fra Google er fortsatt åpen. Han har bare sluttet å satse på at den kommer til nytte.

Tagger: kunstig intelligens, Google, KI-sikkerhet, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

Relaterte personer

Relaterte personer

Diskusjon