I tre år har AI-debatten handlet om hvem som bygger den største modellen. Det mindre glamorøse spørsmålet — hva det koster å holde modellen svarende millioner av ganger om dagen uten at den faller sammen — er der pengene lekker ut i dag. llm-d, åpen kildekode-prosjektet for inferens som Red Hat, IBM, Google Cloud, CoreWeave og Nvidia startet, har nådd versjon 1.0, og det sikter rett mot den lekkasjen.

Mekanismen fortjener å sies rett ut. En AI-agent stiller ikke ett spørsmål og går. Den holder lange økter åpne, leser de samme dokumentene om igjen og starter parallelle hjelpere som belaster maskinvaren i uforutsigbare støt. I det mønsteret kan håndteringen av konteksten koste mer enn selve svaret. Alle team som kjører modeller i stor skala, sier Shadi Saba, visepresident for AI/ML-utvikling i CoreWeave, støter på «kontekst som ofte koster mer å håndtere enn selve utdataene». llm-ds svar er ruting: hver forespørsel sendes til serveren som allerede har konteksten i hurtigbufferen, i stedet for å regne den ut på nytt.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

Versjon 1.0 handler mindre om nye triks enn om å gjøre de eksisterende trygge å kjøre i månedsvis. Prosjektet tilbød allerede hurtigbufferbevisst ruting, avlasting av KV-bufferen og oppdeling av prefill- og decode-fasene på ulike maskiner, oppå modellservere som vLLM og SGLang. Den nye utgaven legger til prioritets- og rettferdighetsstyring slik at forsinkelsesfølsomme forespørsler og agenter som jobber i støt kan dele én GPU-flåte uten å sulte ut hverandre, en høytilgjengelig ruter for oppdateringer uten nedetid, et stabilt v1-konfigurasjons-API og øktbevisst ruting som holder samtaler med flere runder nær sin bufrede tilstand.

Ytelsestallene i kunngjøringen kommer fra bidragsyternes egne demonstrasjoner og bør leses som påstander, ikke revisjoner. I én av dem kjørte forskere GLM 5.2, en modell med åpne vekter og rundt 753 milliarder parametere, på utbredte Nvidia-GPU-er, med topper på over 6,6 millioner utdata-tokens i minuttet og opptil 3000 samtidige kodeagenter; med dagens leiepriser i skyen ble det ifølge dem fem til ti ganger billigere per token enn tilsvarende kommersielle API-priser. IBM Research melder om 11,5 ganger lavere inferenskostnad enn et helt proprietært oppsett i et brikkedesignprosjekt for kvantefeilkorrigering, med en treffrate i hurtigbufferen på rundt 98 prosent.

Mer talende er hvem som allerede lener seg på det. JetBrains sier at llm-d håndterer en betydelig del av trafikken bak Junie Lite, gratisversjonen av selskapets kodeagent; DigitalOcean kjører sin serverløse inferens på det, og Mistral og Roblox beskriver hvordan de bygger driftslagene sine på prosjektet. Google Cloud integrerer 1.0 i Google Kubernetes Engine på tvers av hele utvalget av TPU-er og Nvidia-GPU-er, mens AMD tar det til sine Instinct-akseleratorer.

llm-d ble grunnlagt i 2025, styres i dag av Cloud Native Computing Foundation og har mer enn 500 bidragsytere fra over 25 organisasjoner. Versjon 1.0 ble kunngjort 20. oktober 2026 i San José og er tilgjengelig nå som åpen kildekode.

Konsekvensen er en maktforskyvning. Hvis det dyre med AI er å drifte den heller enn å trene den, styrer den som kontrollerer driftslaget også regningen. llm-d er et forsøk på å sikre at det laget forblir felles og åpent, i stedet for innelåst i én leverandørs API.

Tagger: Nvidia, KI-agenter, IBM, CoreWeave, Red Hat, store språkmodeller