Oderland Status

Senast uppdaterad 2024-06-16 20:45 CEST

Incidentrapport

Problem med MariaDB på server11

Den här incidenten påverkade: server11.serverdrift.com

Postmortem

9 Nov 2023 16:54 CET

Vad hände?

Efter att MariaDB uppgraderats till 10.6, så uppstod efter en stund problem med att MariaDB tidvis slutade svara vilket orsakade intermittena anslutningsproblem till databaser på servern.

Varför hände det?

Problemet orsakades av att en lokalt inställd konfiguration på servern inte tillät tillräckligt många öppna filer, varpå MariaDB-serverprocessen startades om vid flera tillfällen.

Eftersom att felet uppstod i samband med en rutinkontroll efter uppgraderingen så misstänktes först felet vara relaterat till att något gått fel med själva uppgraderingen, snarare än att någon inställning var fel. Det egentliga felet syntes inte när vi kontrollerade databaserna, utan det antogs istället vara något fel med databaserna. Detta orsakade att felsökningen drog ut på tiden och att nedtiden därför blev olyckligt lång.

Vad kommer vi göra för att det inte ska hända igen?

Vi ser över våra rutindokument för den här typen av incidenter. Men vi ser också över våra verktyg för kontinuerlig driftsättning så att vi effektivare upptäcker lokala avvikelser i konfiguration på våra servrar - vilket hade kunnat förekomma problemet här.

Vi ber om ursäkt för de problem som uppstod och tackar för ditt tålamod.

Historik

Åtgärdad

Problemet har blivit löst.

Identifierad

Under den planerade uppdateringen av MariaDB på server11.serverdrift.com så stötte vi på problem. Vi jobbar på att åtgärda det.