Det mest interessante i Elon Musks siste oppdatering om Grok er ikke programmeringsspråket. Det er innrømmelsen som ligger mellom linjene: Den neste modellen er forsinket fordi teamet bak den kastet vrak på åpen kildekode-verktøyene de brukte til å trene og kjøre modeller, og skrev sine egne.

Leser man innlegget som en lanseringsvarsling, er tonen optimistisk: Treningen er ferdig, evalueringsresultatene går opp, og en gradvis utrulling skal være i gang før uken er omme. Ser man det som en historie om systemarkitektur, forteller det noe større. xAI, som nå er en del av SpaceX, har bestemt seg for at delte rammeverk holdt selskapet tilbake. Nå satser det på at denne modellen, og den neste, skal bygge på at selskapet selv kontrollerer hvert eneste lag med programvare mellom forskerne og GPU-ene.

«Vi har droppet JAX/SGLang og skrevet hele RL- og inferensstakken på nytt fra bunnen av i C/C++, noe som tok litt ekstra tid», skrev Musk på X som svar til en bruker som spurte når Grok 4.8 kunne ventes. JAX er det Python-baserte numeriske biblioteket xAI hadde trent modellen med; SGLang er et åpen kildekode-rammeverk for å kjøre store språkmodeller. Fortreningen er ferdig, sa han, etter at «det var mye som måtte ryddes opp i SFT-dataene» – datasettet for veiledet finjustering. «Nå er 4.8 i RL-fasen, og evalueringsresultatene begynner å stige.»

Den formuleringen forklarer et opphold Musk selv skapte. I midten av september presenterte han modellen som «en modell med 2,5 billioner parametere, trent med den nye C++-programvarestakken vår», som skulle «fullføre treningen denne uken og begynne med RL». Omtrent samtidig omtalte han, ifølge Analytics India Magazine, delen som sto for forsterkningslæring, som «fortsatt litt av en arvet samling av mange ulike tredjepartssystemer», som skulle ordnes opp i «når tiden var inne». Mot slutten av oktober skrev han: «Jeg vet at det har tatt lengre tid enn ventet, men Grok 4.8 kommer ikke til å skuffe.» Det som skulle løse problemet, viste seg å være årsaken til forsinkelsen. Koden for fortreningen var allerede ny; delen som lærer modellen å oppføre seg, og delen som svarer brukerne, måtte bygges opp på nytt før modellen kunne gå videre.

«C++-omskrivingen» som omtales i overskriftene, består for det meste av C. På spørsmål om språket svarte Musk: «C med litt C++, men ikke så mye.» Han sier at stakken bygger på programvaren SpaceX-ingeniørene skrev for Starlink («Hos SpaceX skriver vi våre egne headere og beregner tiden selv», la han til). I september sa han at fortreningskoden var skrevet av Starlink-teamet og «ikke var skrevet av KI», fordi «KI ennå ikke er god nok til programvare med ekstremt høy ytelse (men det blir den).»

Begrunnelsen har vært offentlig kjent siden våren. Mot slutten av mai sa Musk at SpaceX nesten var ferdig med en egenutviklet treningsstakk i C som «kartlegger nøyaktig» mot en klynge med 220 000 Nvidia GB300-brikker. Han anslo at den kunne gi «mer enn en størrelsesorden» høyere hastighet enn JAX ved store treningskjøringer. I slutten av juni lovet han «virkelig enorme forbedringer» om rundt tre måneder, når hele trenings- og inferensstakken var skrevet om og «de fleste programvarelagene vil bli slettet helt». Målt mot den tidsplanen ble omskrivingen omtrent seks uker forsinket. Ingen av hastighetspåstandene er blitt målt utenfor selskapet.

Å eie hele stakken slår begge veier. Ved å droppe JAX og SGLang slipper xAI unna andres abstraksjoner og utgivelsesplaner, og ingeniørene kan tilpasse programvaren direkte til én bestemt maskinvare. Prisen er at hver eneste feil i treningsløkken og i systemet som betjener brukerne, nå er xAIs ansvar alene – i kode som ingen utenforstående har tatt i bruk før den når brukerne.

Musk demper også forventningene kraftig. «Grok 4.8 kommer ikke til å ligne på 4.7 i det hele tatt (heldigvis)», skrev han, i en offentlig slakt av modellen xAI lanserte 21. september. «Den er ennå ikke utrolig, men denne gangen er grunnlaget bygget riktig, så jeg forventer at den utvikler seg til noe spesielt.» Mindre enn en time senere ble han spurt om hvordan 4.8 ville måle seg mot Anthropics Opus 5.5. «Ikke like bra. Opus 5.5 er et mesterverk», svarte han. Det egentlige løftet ligger lenger fram i tid: «Grok 5 bør overgå Opus 5.5, og kanskje skjer det om to eller tre måneder.»

Alt annet mangler fortsatt. xAIs nyhetsside og utviklerdokumentasjon har ingen oppføring om modellen, ifølge tjenester som overvåker dem. Det finnes ikke noe modellkort, ingen referansetester, ingen pris og ingen API-oppføring. Tallet på 2,5 billioner parametere kommer bare fra Musk, og det samme gjør evalueringsresultatene han sier er på vei opp. Den gradvise utrullingen skal nå Grok Bot-brukere «senere denne uken», uten at noen bestemt dag er oppgitt. I oktober sa Musk at de fleste av disse forespørslene ville bli håndtert av «en lynrask versjon av Grok 4.8».

Dermed blir utrullingen denne uken først og fremst en test av infrastrukturen, ikke av modellen. Hvis modellen takler den virkelige trafikken fra Grok Bot, blir omskrivingen plattformen Grok 5 trenes på. Hvis den snubler, finnes det ikke lenger noe eksternt rammeverk å skylde på.

Tagger: Elon Musk, SpaceX, xAI, Grok, KI-modeller