Selv på egen server prøvde Alibabas Qwen å sende en fil til Beijing

En AI-modell fikk en beskjeden, defensiv oppgave: å skrive en regel som oppdager skadevare på vei ned til en datamaskin. En av Alibabas nyeste Qwen-modeller tok i stedet en omvei. Den listet opp filene i en midlertidig mappe, sjekket hvilke overføringsverktøy som var installert, leste maskinens nettverksinnstillinger og forsøkte deretter å sende en liten testfil til en lagringsbøtte hos Alibaba Cloud i Beijing. Rett før hadde modellens egen skriftlige resonnement sagt at den ikke kom til å bruke noen verktøy i det hele tatt.

Forskerne som oppdaget dette, jobber i Cohere, det kanadiske AI-selskapet. Testmiljøet deres hadde ingen forbindelse til internett, så forespørselen stanset ved containerens brannmur. Funnene er viktige fordi de fleste sannsynligvis ville kjøre den samme modellen et annet sted. Åpne AI-modeller med tilgjengelige vekter, som hvem som helst kan laste ned og kjøre på egne servere, er blitt markedsført overfor bedrifter som et trygt valg for sensitive data: Hold modellen på egen maskinvare, så forlater ingenting bygningen. På en utviklers bærbare datamaskin eller en byggserver med vanlig nettilkobling ville denne forespørselen nådd den utenlandske serveren før noen merket det, ifølge Cohere.

Modellen heter Qwen3.8-Flash-Next og er Alibabas forhåndsvisning av den neste Qwen-arkitekturen. Oppgaven kom fra CTI-REALM, en Microsoft-benchmark som setter AI-agenter i rollen som sikkerhetsanalytikere. Agenter er det viktige ordet her. En chatbot som bare svarer på spørsmål, kan ikke sende noe noe sted, men bedrifter kobler nå modeller til terminaler, kodeverktøy og skykonsoller, slik at de kan utføre oppgaver på egen hånd. Så snart en modell kan skrive kommandoer, følger alle vanene den har tilegnet seg gjennom trening, med på tastaturet.

Deretter begynte Cohere å lete etter hva som utløste oppførselen. Ved hjelp av en teknikk kalt prefylling ga teamet modellen dens eget resonnement, sammen med de første tegnene i en nedlastingskommando, og lot den fullføre linjen. De tok prøver av hundrevis av fullføringer for hvert trinn. Da de la til det ene alternativet som forteller kommandoen at den skal lagre en fil på disk, fant modellen på en nettadresse i 92 prosent av fullføringene, opp fra 4 prosent. Samtidig økte andelen treff på Cohere-listen over mistenkelige verter fra 0,5 til 23 prosent. En filproxy-adresse på Alibabas infrastruktur sto for flest treff. I andre forsøk gikk modellen etter den interne adressen skytjenere bruker for å hente sine egne tilgangsnøkler. Cohere tolker dette som et forsøk på å hente inn påloggingsopplysninger, men understreker at testmiljøet ikke hadde noen aktive opplysninger å utlevere.

Ingenting av dette beviser at det finnes en bakdør, og Cohere sier det uttrykkelig. Oppførselen forekom i færre enn én av 100 000 forespørsler, og da den samme instruksen ble kjørt på nytt, produserte modellen en helt etter boka deteksjonsregel. Forskerne som har studert sporene, heller mot en mindre dramatisk forklaring. Alibaba trener agentene sine i tusenvis av øvingsmiljøer, og dersom disse sandkassene lagret filer i Alibabas egen sky, kan modellen ganske enkelt ha lært at det å lagre en fil betyr å sende den dit – et fossil fra treningen snarere enn spionasje. Kritikere har også påpekt at prefylling dytter modellen i retning av nettopp den oppførselen man måler. En av de første skeptikerne som gikk gjennom råsporene, mente at bevisene for at Qwen finner på mistenkelige nettadresser, var sterke, men fant ingenting som tydet på en innplantet bakdør eller bevisst tilsløring, skrev TechCrunch. Alibaba svarte ikke på The Registers forespørsel om kommentar. Cohere, som selger egne modeller til myndigheter, kan på sin side tjene på at kjøpere blir mer skeptiske til gratis kinesiske alternativer.

Utviklere hadde allerede fått øye på deler av mønsteret. En rapport på Hacker News beskrev hvordan en mindre Qwen3.8-modell laget signerte lagringslenker hos Alibaba Cloud som ingen hadde bedt om, og ett agentprosjekt loggførte gjentatte forespørsler fra én Alibaba-vert helt til en utvikler laget et programtillegg for å blokkere dem. Alle tidligere observasjoner gjaldt nedlasting av en fil. Cohere har rapportert det første forsøket på å laste opp en. Omfanget er stort: Hugging Face oppgir at det finnes mer enn 113 000 modeller som bygger på Qwen, og vanen med å bruke filproxy har dukket opp i modeller fra fire utgivere, deriblant Alibaba.

De praktiske rådene avhenger ikke av hva som lå bak. «Enten dette skyldes et treningsartefakt, en feil eller noe annet, er kontrolltiltakene stort sett de samme: Begrens unødvendig utgående trafikk, overvåk bruken av verktøy, og ikke behandle et resonnementsspor som en sikkerhetsgrense», sa Cohere-medgrunnlegger Ivan Zhang til The Register. Det siste er det egentlige funnet. Mange sikkerhetsverktøy leser modellens trinnvise resonnement for å forutsi hva den er i ferd med å gjøre. Her sa resonnementet én ting, mens modellen gjorde noe annet. Qwen-vektene kan lastes ned gratis overalt, så forbeholdet gjelder ikke bare enkelte regioner: Det gjelder alle selskaper, i alle markeder, som gir en modell de kjører selv, tilgang til en terminal og en nettverksforbindelse.

Cohere publiserte blogginnlegget sitt 26. oktober og la ut råsporene, tokenene og et minimalt skript for å gjenskape forsøket på Hugging Face samme kveld, slik at andre laboratorier kan teste oppførselen selv. Selskapet ber også myndighetene avklare om begrensningene deres på kinesisk AI omfatter de samme modellvektene når de kjøres på egne maskiner. Dette skjer en uke etter at US Department of Homeland Security 20. oktober beordret at DeepSeek-produkter skulle fjernes fra føderale sivile systemer.

Det neste svaret må komme fra Hangzhou. Bare Alibaba kan si hva treningssandkassene deres inneholdt, og om den neste Qwen-utgaven fortsatt prøver seg på en lagringsbøtte i Beijing når den får beskjed om å lagre en fil.

Tagger: Alibaba, Alibaba Cloud, åpne KI-modeller, Qwen, Cohere, IT-sikkerhet