EU Kids Act fjerner funksjonen som gjorde Character.AI til suksess blant tenåringer

Character.AI og Replika får ikke lenger lov til å huske hva tenåringer forteller dem. EU Kids Act — Europakommisjonens foreslåtte digitale sikkerhetsforordning, nå utgitt som full lovtekst — krever at AI-kompanjongapper sletter minnet om enhver samtale med en mindreårig når samtalen er avsluttet, med mindre dataene er direkte nødvendige for å beskytte brukerens sikkerhet. Designet som gjorde disse appene kulturelt betydningsfulle for millioner av tenåringer, er nå forbudt under europeisk lov.

Bestemmelsene om kompanjongtjenester går lenger enn å slette minnet. Plattformer må deaktivere emosjonelle kompanjongfunksjoner som standard for alle brukere under 18 år. Ethvert designelement som simulerer et mellommenneskelig forhold, fremmer emosjonell tilknytning eller belønner hyppig engasjement, er eksplisitt forbudt. Kommisjonen navnga de nøyaktige mekanismene disse appene bruker for å beholde tenåringer: samtalekontinuitet, opplevelsen av å bli kjent, følelsen av at AI-en er investert i brukerens liv. Alt dette må fjernes.

Loven dekker betydelig mer enn AI-chatboter. Barn under 13 år blokkeres fra sosiale medier, nettspill og AI-applikasjoner uten foreldregodkjenning. Autospill, uendelig skrolling og engasjementsvarsler i løpet av søvnperioden er forbudt for alle brukere under 18 år. Geolokalisering, mikrofontilgang og kameraer må være deaktivert som standard. Selverklært alder oppfyller ikke lenger verifiseringskravene; plattformer må integrere sertifiserte EU-systemer for aldersverifisering.

Character.AI har allerede annonsert foreldrekontroller og tidsbegrensninger for økter, grep som er gjort under økende regulatorisk press før lovens formelle tekst dukket opp. Replika forpliktet seg til å bygge «companion boundaries»: AI-en vil fortelle brukerne at den ikke kan erstatte menneskelige relasjoner. De større plattformene — Meta, Google, Snap, OpenAI — har ikke kommet med noen formell offentlig uttalelse. Compliance-analytikere anslår betydelige redesignkostnader for alle sammen. Meta, som nylig inngikk et forlik på 17,1 milliarder dollar i 47 amerikanske delstater etter påstander om at de designet plattformer for å gjøre barn avhengige, står overfor sammensatt eksponering under de nye reglene.

Skepsisen er betydelig. Kids Act er et forslag, ikke en lov. Den går inn i måneder med forhandlinger mellom Europaparlamentet og medlemslandene før den blir bindende, og de endelige bestemmelsene vil sannsynligvis endre seg. Ekte aldersverifisering i skalaen til Instagram eller TikTok er fortsatt teknisk vanskelig. Å bygge inn minnesletting i AI-kompanjonger som er arkivert rundt kontinuitet, er en større ingeniørutfordring enn regulatorer kanskje har forutsett. Selskaper påpeker allerede at kompanjongchatboter ikke beholder minner på tvers av separate økter i alle implementeringer, noe som gjør forbudets omfang uklart i praksis.

Den bredere konteksten betyr noe for lesere utenfor Europa. Australia forbød sosiale medier for barn under 16 år sent i fjor. Førtisju amerikanske delstater oppnådde et samlet forlik på 17,1 milliarder dollar med Meta over anklager om barneavhengighet, og flere amerikanske delstater har lover som begrenser mindreåriges tilgang til sosiale medier. EU Kids Act er det mest aggressive enkeltforslaget så langt — dets spesifikke mål er ikke tilgang, men emosjonelt design i seg selv.

Europakommisjonen publiserte den fullstendige lovteksten 19. september. Parlamentariske forhandlinger åpner i oktober. Når den er implementert, vil selskaper ha seks måneder på seg til å identifisere eksisterende kontoer som tilhører brukere under 15 år, og enten konvertere dem til foreldrekontrollmodeller eller deaktivere dem. Brudd medfører bøter på opptil 6 % av årlig global omsetning.

Tagger: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act