Workday-bruddet startet med en egen backuptest, og ansatte fikk ikke stemplet inn

Workday, programvaren mange store arbeidsgivere bruker til lønn, stempling og fri, ble utilgjengelig for kundene etter at en test av selskapets eget nødberedskapssystem gikk galt. Da selskapet testet systemene for katastrofegjenoppretting, oppdaget det at sikkerhetstjenester uventet hadde koblet seg til produksjonsdatabasene kundene bruker, slik at oppføringene havnet i en inkonsistent tilstand. Workday tok de berørte systemene ut av drift for å reparere dem.

For de ansatte viste avbruddet seg som en innloggingsside med meldingen «Workday er for øyeblikket utilgjengelig». Ansatte hos berørte selskaper kunne ikke stemple inn eller ut, sjekke lønnsopplysninger, be om fri eller fullføre påmelding til personalgoder. Planlagte jobber som leverer data til andre bedriftssystemer, kunne også svikte. Det var altså sikkerhetsnettet som skulle holde tjenesten i gang under en katastrofe, som satte den ut av spill.

Omfanget gjør at dette får følger langt utenfor HR-avdelingene. Workday opplyser at over 11 500 organisasjoner bruker programvaren, og blant selskapets offentlig oppførte kunder finner vi Walmart, Target, Netflix, Chipotle, Southwest Airlines, US Department of Energy og NASA’s Jet Propulsion Laboratory. Selskapet har ikke sagt hvor mange av dem som ble rammet, men omtaler konsekvensene bare som «noen av kundene våre». Påstander som har spredd seg på nettet om at samtlige av disse arbeidsgiverne var nede, går derfor lenger enn det faktaene gir grunnlag for. Ifølge UC Today registrerte tjenester som overvåker driftsavbrudd meldinger fra USA og India.

Workdays egen forklaring, publisert på selskapets statusside for kunder og gjengitt av IT-teamet ved Washington University, er uvanlig direkte. «Under valideringen av det ukentlige vedlikeholdsvinduet for kunder i katastrofegjenopprettingsmiljøet oppdaget vi at tjenester for bestemte kunder ved DR-området uventet koblet seg til produksjonsdatabasene», het det i meldingen. Dataene var blitt stående «i en inkonsistent tilstand», noe som kunne føre til feil når folk åpnet kontoene sine, eller til at oppgaver sviktet. Deretter satte selskapet alle produksjonsmiljøene i kundegruppen det kaller WD1, i vedlikeholdsmodus og lovet å komme med oppdateringer hvert 30. minutt.

Forklaringen gir ikke svar på det viktigste spørsmålet. En kopi for katastrofegjenoppretting skal sørge for at problemer ett sted ikke sprer seg til det andre, men her nådde testen fram til selve produksjonsmiljøet. Workday har ikke forklart hvordan denne forbindelsen kunne oppstå, eller om noen oppføringer gikk tapt og ikke bare ble feilaktige. Også kommunikasjonen fra selskapet fikk kritikk. Administratorer i Reddit-forumene r/sysadmin og Workday skrev at problemet startet flere timer før den første kundevarslingen, en tidslinje Workday ikke har bekreftet. I en e-post til kunder som ble delt der, innrømmet selskapet at det ikke hadde noe anslag for når tjenesten ville være gjenopprettet, og ba virksomheter med kritiske frister om å ta i bruk beredskapsplanene sine.

For de ansatte avhenger de praktiske konsekvensene av tidspunktet. Timelønte som ikke fikk stemplet inn, må få timene sine korrigert manuelt, og alle som hadde dårlig tid før en frist for å melde seg på personalgoder, møtte stengte dører. Enkelte arbeidsgivere flyttet fristene: Emerson College opplyste at skolen forlenget perioden for å velge personalgoder på grunn av driftsavbruddet. Hendelsen kom også på slutten av en dårlig uke for programvare på arbeidsplassen, etter at en feil i Microsoft 365 gjorde Outlook og Exchange-e-post ustabile inn i den andre dagen.

Dette er tidslinjen så langt: Emerson College opplyste at Workday tok systemet ut av drift rundt kl. 17.15 amerikansk østkysttid fredag 13. november, og LiveNOW from FOX meldte at Downdetector registrerte nærmere 3 000 feilrapporter kort tid etter kl. 17. En talsperson for Workday sa at selskapet «jobbet på spreng med å undersøke og løse problemet», og beklaget overfor berørte kunder. Lørdag morgen opplyste Workday til kundene at reindeksering og gjenåpning av miljøene etter planen ville være ferdig for de fleste innen kl. 11 amerikansk østkysttid lørdag 14. november, mens det ville ta lengre tid for noen. Disse kundene skulle kontaktes gjennom en supportsak. Emersons forlengede påmeldingsfrist løper nå til kl. 12 amerikansk østkysttid mandag 16. november.

At tjenesten kommer tilbake, vil ikke besvare det vanskeligere spørsmålet arbeidsgiverne nå stiller leverandøren sin. De vil vite hvorfor en test som skulle vise at Workday kan klare seg gjennom en katastrofe, hadde tilgang til dataene den skulle beskytte.

Tagger: skytjenester, HR-programvare, IT-brudd, katastrofegjenoppretting, lønn, Workday