Underhåll på Oderland Cloud

Underhållet är nu klart, under perioden 00:55 - 01:35 förekom det stundsvis försämrad prestanda men inga noder gick oväntat ner.

Underhållet har blivit framskjutet till nästa dag, alltså 2026-06-10 kl 00:00 till 02:00 CEST (UTC+2).

Vi har tillsammans med Virtuozzo tagit fram en plan för att komma vidare och identifiera var flaskhalsen finns. Vi har därför planerat ett nytt underhållsfönster natten till tisdag nästa vecka, 2026-06-09, kl. 00:00 till 02:00 CEST.

Arbetet sker i samarbete med Virtuozzo, som är med och övervakar lagring, nätverk och belastning i realtid under hela fönstret. Vi har även vidtagit åtgärder för att förhindra den typ av oväntade omstarter av noder som orsakat problem vid tidigare tillfällen.

Själva arbetet beräknas ta cirka 30 minuter. Under den tiden kan viss nedsatt prestanda förekomma, men vi förväntar oss ingen annan påverkan. Vi har medvetet lagt fönstret nattetid för att så få som möjligt ska märka av det.

Vi återkommer med en uppföljning här när arbetet är klart.

I uppföljningen med Virtuozzo justerades en inställning och ett nytt underhåll planerades in 2026-03-26 21:00 där de även var med och övervakade. Det utfördes till en början utan problem men vid ca 21:10 uppstod en större spik i belastning och vid 21:30 blev en nod otillgänglig och startades om. Allt ska ha börjat fungera som vanligt igen vid ca 21:50.

Vi har fortsatt dialog med Virtuozzo och kommer inte påbörja något nytt underhåll förrän vi har fått klarhet och en potentiell lösning. Vi kommer även se över möjlighet att planera nästa underhåll på en tidpunkt med lägre aktivtet.

Vi har verifierat att allt fungerar normalt, men noterade att vissa VM:ar startade om oväntat i samband med att problem uppstod på en av noderna i klustret. Incidenten kommer följas upp tillsammans med Virtuozzo.

I samband med fortsatt underhåll uppstod liknande problem som tidigare. Felsökning pågår.

Tidigare underhåll som utfördes tillsammans med Virtuozzo (2026-03-12) slutfördes utan problem och vi kommer nu fortsätta imorgon 2026-03-17 kl 06:30 CET. Arbetet kommer ske dagligen i några veckor farmöver tills det är klart.

Vi har under snart en veckas tid haft en dialog med vår mjukvaruleverantör Virtuozzo och identifierat orsaken till de tidigare problemen. Tillsammans har vi tagit fram en plan för hur underhållet ska kunna slutföras utan driftstörningar.

Vi har därför planerat ett nytt underhållsfönster med start imorgon, torsdagen den 12 mars, kl. 21:00. Underhållet beräknas pågå i en timme. Arbetet sker i samarbete med Virtuozzo och ingen påverkan förväntas på våra tjänster under tiden.

Vi tittar på det här tillsammans med Virtuozzo och räknar med att kunna återkomma med mer information någon gång nästa vecka.

De VM:ar som vi notererade hade problem har nu startat upp normalt igen.

Vi har fått rapporter om att flera Windows-VM:ar fortfarande upplever problem. Vi felsöker.

I samband med dagens underhåll uppstod liknande problem som tidigare. Vi har bl.a. noterat VM:ar som startat om. Just nu fungerar allt som vanligt, men vi felsöker tillsammans med Virtuozzo.

Underhållet pasuades 2026-02-20 på grund av för hög prestandapåverkan och kommer återupptas onsdag 2026-03-04 06:00 efter dialog med Virtuozzo.

Vi har påbörjat underhållet. När det är klart kommer vi att göra en ny uppdatering här.

Vi återupptar underhållet på måndag, 2026-02-16. Arbetet kommer att pågå löpande i cirka två veckor och sprids ut över perioden för att minimera eventuell påverkan.

Vi har haft en dialog med Virtuozzo, plattformens utvecklare, och har en tydlig plan för hur vi genomför arbetet med så låg påverkan som möjligt. Viss prestandapåverkan kan inte helt uteslutas, men vi räknar inte med någon annan typ av påverkan.

Här kommer en sammanfattning om vad vi hittills vet om vad som gick fel under gårdagens underhåll på Oderland Cloud.

Underhållet påbörjades under dagtid eftersom vi inte förutsåg att det skulle orsaka någon större påverkan på prestandan. Efter vi såg att påverkan på prestandan var större än vi förutsåg, både genom våra egna verktyg och via rapporter från kunder, så avbröt vi underhållet. Vi bestämde då att senarelägga underhållet till kvällen/natten för att så få som möjligt skulle märka av den nedsatta prestandan.

Underhållet återupptogs kl 23 samma kväll. Vi såg som förväntat liknande prestandaproblem igen men förutom det gick allting som planerat. Runt kl 00:20 startades en av hårdvarunoderna oväntat om. Detta var inte en del av underhållsarbetet och borde inte hänt.

Alla servrar som låg på den hårdvarunoden migrerades automatiskt till andra noder. Det verkar dock ha orsakat problem för vissa servrar. Problemen som uppstod var alla relaterade till att servern tappade kontakten med lagringen. Det kan ha visat sig som read only file systems, IO errors eller att boot-disken inte kunde hittas.

Vi fick automatiskt larm om många av dessa servrar inte fungerade korrekt. Vi gick då in och startade om dom vilket löste problemet. Dock var det en del servrar som inte identifierades som problematiska av systemet och dessa startades därför inte om av oss.

Vi tar just nu följande åtgärder:

• Vi undersöker hur vi bättre kan identifiera servrar som inte fungerar korrekt om en liknande situation skulle uppstå igen i framtiden.
• Vi utreder tillsammans med leverantören av plattformen varför hårdvarunoden startdes om oväntat så att det inte händer igen.
• Vi utreder också med leverantören av plattformen om det finns något vi kan göra för att minimera påverkan på prestandan under tiden som underhållsarbetet utförs.

Underhållsrabetet kommer inte återupptas förrän ovanstående är klart.

Underhållet är delvis färdigt men kommer behöva delas upp på fler tillfällen. Nästa tillfälle kommer meddelas här under morgondagen.

Vi har påbörjat underhållet. När det är klart kommer vi att göra en ny uppdatering här.

Tyvärr påverkade arbetet prestandan på tjänsten mer än förväntat. Vi har därför valt att pausa arbetet och skjuta upp det till ikväll (2026-01-27) kl 23.

Vi har påbörjat underhållet. När det är klart kommer vi att göra en ny uppdatering här.

Vi genomför ett rutinmässigt underhåll av Oderland Cloud för att uppdatera plattformen. Underhållsarbetet förväntas inte påverka tillgängligheten, men det kan förekomma viss nedsatt prestanda.

Vi informerar i förväg för att du inte ska behöva oroa dig om du märker att det går lite långsammare - det handlar i så fall om en tillfällig effekt av underhållet, inte något fel på dina servrar eller applikationer.

Vi övervakar processen noggrant och gör allt vi kan för att underhållet ska genomföras så smidigt som möjligt.