Én linje i robots.txt skal stanse KI-trening hos Google, OpenAI og Microsoft

Alle som har ønsket å holde et nettsted utenfor AI-trening, har måttet skrive en egen regel for hvert selskap og lære seg navn som GPTBot, ClaudeBot og Google-Extended ett for ett. Nå sier Google, OpenAI, Anthropic og Microsoft at de alle vil lese den samme linjen i stedet: et felles «policy token» i robots.txt, den lille tekstfilen som helt siden internettets barndom har fortalt søkemotorer hvor de ikke skal gå. Med én oppføring får fire av de største AI-utviklerne det samme svaret.

Ideen kommer fra Kevin Kelley, teknisk ansvarlig for standarder hos Anthropic, som sendte den inn til Internet Engineering Task Force, organisasjonen som utarbeider internettets tekniske regler. Det smarte grepet er at forslaget ikke innfører noen ny syntaks. Nettstedseieren skriver en vanlig regelgruppe, men i User-Agent-linjen angis et bruksområde i stedet for en crawler: __usage_ai-training. Under den betyr «Disallow: /» at ingenting på nettstedet skal brukes til trening, mens en «Allow»-linje kan åpne for unntak – for eksempel en pressemappe som et selskap gjerne vil at en modell skal lære av.

For en blogg, en nettbutikk eller en redaksjon er det mest nyttige ved løsningen det den ikke påvirker. Linjen uttrykker et ønske om hvordan innholdet brukes, ikke hvem som får besøke nettstedet, så søk fungerer fortsatt. Google sier at dersom et nettsted reserverer seg med det felles tokenet uten å nevne Google-Extended separat, vil selskapet tolke det som en blokkering av Google-Extended. Det omfatter trening av Gemini, men lar siden bli værende i Google Søk. Microsoft gir det samme løftet for Bing: innstillingen påvirker ikke om en side kan vises i søkeresultatene.

Anbefalt lesingOllama 0.22.1 kjører Gemma 4 tool calling på laptopen din uten API-nøkkel

Microsoft går et skritt lenger enn de andre. I tillegg til trening innfører selskapet en egen innstilling for forankring, som kan settes for hver enkelt side via en metatagg eller en HTTP-header. Den avgjør om en side kan brukes som grunnlag for svarene Bing, Copilot og Microsoft 365 genererer der og da. Et nettsted kan si nei til trening, men fortsatt tillate forankring, slik at innholdet kan siteres og lenkes til i AI-svar. Microsoft advarer om at et nei til forankring vil «redusere» nettstedets synlighet i disse tjenestene «betydelig», og at ingen av valgene garanterer omtale, trafikk eller betaling.

Det skjuler seg en hake i filen de fleste nettsteder allerede har. Kelleys utkast gjør med hensikt at den velkjente jokertegnregelen «User-agent: *» ikke fanger opp det nye tokenet. Dermed uttrykker ikke en robots.txt-fil som i dag stenger ute alle boter, noen preferanse for AI-trening. Nettstedseiere som vil reservere seg, må legge til den nye gruppen med navn. Signalet gjelder dessuten bare framover: Alt selskapene har crawlet før linjen dukker opp, finnes allerede i treningsmaterialet deres, og utkastet pålegger ingen av dem å følge regelen. Det er en anmodning som fire selskaper har lovet å respektere, ikke en lås.

Det mest påfallende fraværet er Meta. Andy Stone, selskapets kommunikasjonsdirektør, sa til The Verge at et felles signal som når flere tilbydere samtidig, er «et viktig skritt», men sa ikke om Meta vil følge det. Tidspunktet er uheldig. Samme dag som de fire selskapene kunngjorde støtten sin, trådte Metas oppdaterte forretningsvilkår i kraft. De gir selskapet tillatelse til å sende crawlere til nettsteder knyttet til bedriftskontoer på Facebook, Instagram og WhatsApp, og til å bruke det de samler inn, til å trene produktene sine.

Innføringen skjer i ulikt tempo. Anthropic har allerede begynt å ta i bruk tokenet, men Kelley skrev at det vil ta tid å dekke alle selskapets tjenester. Microsoft vil respektere det når selskapet crawler fra 1. februar 2027, og etter 1. mars vil det slutte å lese de eldre NoArchive- og NoCache-taggene som signaler om trening eller forankring. Google tar sikte på å støtte tokenet i 2027 og lover å komme med oppdateringer om framdriften, mens OpenAI bare har forpliktet seg til å innføre det i løpet av de kommende månedene. Forslaget må fortsatt behandles av IETF-arbeidsgruppen AI Preferences før det kan bli en formell standard. Google påpeker samtidig at det er i tråd med EUs praksisregler for generelle AI-modeller, som allerede regner robots.txt som den viktigste måten utgivere kan uttrykke maskinlesbare preferanser på.

Det bemerkelsesverdige ved øyeblikket er hvor liten løsningen er. Etter flere år med søksmål og lisensieringskamper om hvem som eier det åpne nettet, består det første felles svaret av noen få tegn i en ren tekstfil som hvem som helst kan redigere på et minutt. Hvor mye beskyttelse det gir, avhenger av hvem som slutter seg til ordningen videre – og selskapet med flest bedriftssider på plattformene sine har ennå ikke sagt ja.

Tagger: kunstig intelligens, OpenAI, Google, Anthropic, microsoft, meta

Mer som dette

Rhythm Heaven Groove til Switch med 100 nye minispill etter 11 år

Gemma passerte en milliard nedlastinger — NASA kjører den allerede i bane

Pixel 11 i forhåndsbestilling: gavekortet på 350 dollar er tilgode, ikke rabatt

Metas Muse AI nådde 560 000 brukere på 11 dager — nå styrer den din Mac

GPT-5.5 har akkurat landet på AWS og avslutter Microsofts syvårige grep om OpenAI

Spotify Family krever nå at du skanner en QR-kode på stedet, ellers venter ett års sperre