Oderland Status

Senast uppdaterad 2024-07-18 15:15 CEST

Incidentrapport

Höga svarstider på flera servrar

Den här incidenten påverkade: server10.serverdrift.com, ker.oderland.com, kojin.oderland.com, premium18.oderland.com

Postmortem

14 Sep 2023 17:02 CEST

Vad hände?

Under ett rutinmässigt underhållsarbete flyttades lagringen för en virtuell server från ett lagringskluster i ett datacenter till ett lagringskluster i ett annat datacenter. Denna åtgärd genomförs normalt utan att påverka åtkomlighet eller prestanda i hög grad. Tyvärr, i det här fallet, ledde underhållsarbetet tillsammans med en högre generell belastning än normalt till påtagliga prestandaproblem. Det noterades periodvis svårigheter att nå webbtjänster på servern, och vissa upplevde högre svarstider än normalt.

Dessutom påverkades andra virtuella servrar på samma hypervisor av ökade svarstider och intermittenta anslutningsproblem.

Varför hände det?

Orsaken till dessa problem var en kombination av faktorer. För det första genomfördes det rutinmässiga underhållsarbetet, vilket normalt sett inte skulle ha varit ett problem. Men på grund av den högre belastningen på våra system vid den tidpunkten blev situationen mer kritisk än förväntat. Denna ökade belastning ledde till prestandaavvikelser som påverkade tillgängligheten för de berörda tjänsterna.

Vad kommer vi göra för att det inte ska hända igen?

För att förhindra liknande incidenter i framtiden har vi redan vidtagit åtgärder för att förstärka vår infrastruktur. Vi har utökat med mer resurser i de aktuella systemen, för att bättre hantera ökad belastning och förekomma liknande problem framöver.

Innan vi genomför framtida underhållsarbete av den här typen, kommer vi också att förbättra vår planeringsprocess och noggrant testa scenarier som involverar ökad belastning för att förhindra oväntade prestandaproblem.

Vi ber om ursäkt för de problem som uppstod.

Historik

Åtgärdad

Problemet har verifierats löst och inga nya problem har noterats sedan kl. 10:15.

Övervakar

Problemen med höga svarstider på server10.serverdrift.com har åtgärdats. Vi fortsätter överaka.

Övervakar

Problemen med ker.oderland.com och premium18.oderland.com har åtgärdats. Vi fortsätter övervaka.

Problem med höga svarstider på server10.serverdrift.com kvarstår och vi arbetar på en lösning.

Vi beräknar att problemet är löst inom c:a 10 minuter.

Identifierad

Vi ser även ökade svarstider och intermittenta anslutningsproblem mot ker.oderland.com. VI arbetar på en lösning.

Identifierad

Problemen med höga svarstider på kojin.oderland.com har åtgärdats. Vi fortsätter övervaka.

Vi fortsätter samtidigt undersöka höga svarstider på server10.serverdrift.com samt premium18.oderland.com.

Identifierad

Vi har identifierat problemet och arbetar just nu på en lösning.

Problemet omfattar även premium18.oderland.com och kojin.oderland.com.

Undersöker

Vi upplever just nu höga svarstider på server10.serverdrift.com. Felsökning pågår.