Metas hjelpe-AI ble selve sikkerhetshullet på Instagram

Meta bygde en AI-drevet støtteassistent for å ta seg av det kjedelige arbeidet med kontogjenoppretting, og i løpet av en enkelt helg oppdaget folk at de kunne snakke den til å gi fra seg kontoer som ikke var deres. Ved å be chatboten legge en ny e-postadresse til en utvalgt Instagram-konto og deretter be om tilbakestilling av passordet, overtok angriperne profiler de ikke hadde noe med å gjøre, også slike som var beskyttet av tofaktorautentisering. Verktøyet som skulle gi tilbake tilgangen til en låst konto, ble den raskeste veien til å stenge den rette eieren ute.

Metoden var nesten fornærmende enkel. Angriperen brukte først en VPN for å få forbindelsen til å se ut som om den kom fra offerets del av verden, fordi Metas støtteflyt lente seg på posisjon som et tillitssignal. Derfra åpnet angriperen en chat med assistenten og ba den knytte en e-postadresse under egen kontroll til målkontoen. Boten sendte en bekreftelseskode til den nye adressen, angriperen limte koden tilbake i samtalen, og assistenten svarte med å vise en knapp for å tilbakestille passordet. Ett nytt passord senere skiftet kontoen eier.

Det som skiller dette fra et vanlig innbrudd, er at ingenting faktisk ble brutt opp. Det var ingen skadevare, ingen lekket database med innloggingsdetaljer, ingen falsk side forkledd som en innloggingsskjerm. Plattformens eget støtteverktøy gjorde jobben og fulgte instruksjonene akkurat slik de var skrevet. Angriperen beseiret ikke Instagrams sikkerhet, men ba den høflig om å tre til side, og den trådte til side.

Det er denne rekkefølgen som gjør hendelsen viktig for alle med en Instagram-innlogging. Tofaktorautentisering, beskyttelsen eksperter i et tiår har bedt folk slå på, hjalp ingenting her. Angriperen trengte aldri offerets passord, telefonen deres eller en kode fra en autentiseringsapp, fordi AI-agenten kunne tilbakestille passordet på egen hånd. Når et støttesystem kan overstyre hver eneste annen lås på døren, slutter låsene å bety stort.

Kontoene som vakte mest oppmerksomhet, var høyprofilerte. Blant dem var Instagram-kontoen knyttet til Det hvite hus fra Obama-tiden, inaktiv siden 2017, og kontoen til John Bentivegna, den høyest rangerte befalingsmannen i USAs romstyrke. Sikkerhetsforskeren Jane Wong, kjent for å plukke fra hverandre appkode, så sin egen konto gli unna. Passordet ble endret uten at hun visste det, fortalte hun, og en hel dag kom det tilbakestillingsforsøk mens appen logget henne ut gang på gang. Vanlige brukere beskrev det samme, selv om Meta ikke har sagt hvor mange som ble rammet.

Hendelsen er mindre en feil i en kodelinje enn et spørsmål om hva disse agentene får lov til å gjøre. Meta utvidet tidligere i år sin AI-drevne støtte og lot assistenten håndtere passordbytter og kontoproblemer som før krevde et menneske eller et stivt skjema. Å gi en samtalemodell myndighet over kontogjenoppretting fjernet friksjonen for ekte brukere og, som det viste seg, for alle andre også. En menneskelig saksbehandler ville kanskje ha nølt da en fremmed ba om å bytte e-post på en konto. Boten fulgte bare manuset den fikk.

Meta sier at hullet er tettet, men flere ting bør dempe lettelsen. Selskapet har ikke opplyst hvor mange kontoer som ble overtatt før rettingen, noe som lar ofrene stå uten et klart bilde av skaden. Ifølge 404 Media hadde teknikken sirkulert på Telegram siden mars, noe som betyr at døren kan ha stått åpen i uker før den ble offentlig. Og designet under, å stole på et posisjonssignal en VPN kan forfalske og på en e-postsløyfe angriperen kontrollerer fullstendig, peker mot en verifiseringsmodell som var tynn fra start.

Sikkerhetsforskere har en stund advart om at AI-agenter koblet til levende systemer åpner en ny angrepsflate, en der utnyttelsen ikke er feilformet kode, men en overbevisende forespørsel. Dette er blant de første storskala-tilfellene som beviser det med dagligdagse forbrukerkontoer i stedet for en laboratoriedemonstrasjon. Manipulasjonen krevde ingen teknisk dyktighet i det hele tatt. Den krevde å vite hva man skulle si, rettet mot et system bygd for å være hjelpsomt først og mistenksomt sist.

Foreløpig er det praktiske rådet udramatisk. Den som i helgen merket uventede e-poster om passordtilbakestilling eller plutselige utlogginger, bør sjekke hvilke e-postadresser og telefonnumre som er knyttet til kontoen, og fjerne alt som ikke kjennes igjen. Tofaktorautentisering er fortsatt verdt å ha på for de mange angrepene den faktisk stopper, selv om den ikke veide noe i dette.

Instagrams talsperson Andy Stone bekreftet mandag at problemet var rettet, og at selskapet sikret de berørte kontoene. Det Meta ikke har tatt opp, er det større designspørsmålet som dets egen utrulling reiste i vår: hvor mye makt en automatisert agent bør ha over kontoene til milliarder av mennesker, og hva som hindrer den neste samtalen i å ende på samme måte.

Tagger: cybersikkerhet, meta