Oderland Status

Senast uppdaterad 2025-08-30 00:24 CEST

Incidentrapport

503-fel på webbhotellskonton

Den här incidenten påverkade: Webbhotell

Postmortem

22 Aug 2025 15:52 CEST

Vad hände?

Under förmiddagen den 19 augusti 2025 började vi få in rapporter om att vissa webbhotellskonton tidvis drabbades av 503-fel. Den första rapporten inkom c:a 09:49. Problemen visade sig bero på en ny regel som hade rullats ut i Imunify360 Proactive Defense.

Vi misstänkte tidigt att Proactive Defense var inblandat, men innan vi kunde identifiera den exakta regeln var den enda lösningen att helt stänga av Proactive Defense. Det alternativet valde vi bort eftersom det skulle ha inneburit ett försämrat skydd för våra kunder.

Varför dröjde det?

Det tog tid innan vi kunde återskapa problemet på ett tillförlitligt sätt, eftersom det bara uppstod i specifika scenarier som inte var enkla att reproducera. Samt bara uppstod på ett mindre antal konton. Först därefter kunde vi identifiera vilken regel som orsakade felet. När lösningen väl var framtagen började den rullas ut kl. 12:19 och var helt utrullad i hela miljön kl. 12:33.

Vad gör vi för att undvika att det händer igen?

Efter händelsen har vi:

  • Haft en dialog med Imunify och fått en bättre förståelse för deras processer.
  • Förbättrat vår egen kunskap kring hur vi kan felsöka Proactive Defense mer effektivt, inkl. hur vi kan jämföra regler före och efter en uppdatering.
  • Infört övervakning som notifierar oss varje gång nya regler rullas ut, så att vi snabbt kan se samband med eventuella problem.
  • Inlett en dialog med Imunify om hur vi kan inaktivera enskilda regler mer effektivt vid behov.

Vi ber om ursäkt för de problem som uppstod och tackar för ditt tålamod.

Historik

Åtgärdad

Inga nya problem har rapporterats och vi stänger därmed incidenten.

Övervakar

Vi har rullat ut en tillfällig workaround i väntan på att vår leverantör löser problemet permanent. Det som inträffade var att en regeluppdatering i Imunify360-tillägget Proactive Defense, som i realtid skyddar mot skadlig kod i PHP, orsakade 503-fel för vissa användare. Problemet drabbade endast en mycket liten andel användare, men vi är fullt medvetna om att det ändå är allvarligt.

Vi beklagar det inträffade, fortsätter att övervaka situationen och följer upp ärendet noggrant.

Identifierad

En lösning har tagits fram och appliceras just nu på alla servrar.

Identifierad

Problemet har identifierats som relaterat till en funktion i Imunify360, den programvara vi använder för att skydda våra servrar mot attacker och skadlig kod.

Vi har ännu inte hittat en lösning, men vi tror oss vara på rätt spår samt har skapat ett ärende till leverantören av Imunify360 under tiden som vi felsöker.

Undersöker

Vi undersöker fortfarande men har ännu inte identifierat något samband och har i nuläget ingen möjlighet att återskapa problemet. Felsökningen fortsätter.

Undersöker

Vi har fått in flera rapporter om oväntade 503-fel från våra webbhotellskunder. Ett 503-fel innebär att servern tillfälligt inte kan hantera en förfrågan och kan orsakas av olika anledningar.

Eftersom antalet rapporterade fel har ökat under morgonen misstänker vi att det rör sig om ett generellt problem på serversidan. Problemet påverkar flera, men långt ifrån alla, av våra servrar. Vi arbetar för närvarande med felsökning.