DIVERA 24/7 - Geschichte beachten

Die Wartungsarbeiten konnten abgeschlossen werden, der Dienst hatte währenddessen nur eine Beeinträchtigung von ca. 2 Minuten.

Die Wartungsarbeiten haben begonnen.

Durch unser Monitoring-System konnten wir feststellen, dass der Service zum Setzen des Status per Telefonanruf zwischen 12.55 Uhr und 13:04 Uhr nicht verfügbar war.

Um weiteren Störungen vorzubeugen, werden wir kurzfristige Wartungsarbeiten ab 13:15 Uhr durchführen. Währenddessen wird der Dienst für ca. 10 Minuten nicht erreichbar sein.

Der Dienst zum Telefonstatus scheint trotz der Monitoring-Meldung zu funktionieren. Aktuell können wir keine Beeinträchtigungen feststallen.

Der Dienstleister konnte die mehrfache Zustellung um 14:15 Uhr beheben. Ursache war ein dort fehlerhaft ausgespieltes Systemupdate.

Die Analyse wurde heute erfolgreich abgeschlossen und bereits einige Maßnahmen eingeleitet.

Da E-Mail Server bei fehlgeschlagenen Zustellversuchen mit erneuter Zustellung arbeiten, kann es jetzt noch zu verzögerten nachträglichen Alarmierungen für Kunden kommen, die während dieses Zeitraums einen Einsatz hatten.

Kunden die direkte Leitstellenschnittstellen wie z.B. WDX3 oder Einspeisung per API verwenden, waren von der Störung nicht betroffen.

Für das Team der DIVERA GmbH hat ein störungsfreies, hochverfügbares System oberste Priorität. Wir entschuldigen uns daher und arbeiten gerade weiter an der Ursachenanalyse und leiten daraus neue Maßnahmen ab.

Nachdem uns die Störung gemeldet wurde, haben wir umgehend um 10:21 Uhr ein Rollback durchgeführt, das die Störung beheben konnte. Um 10:30 Uhr waren alle Funktionstests wieder erfolgreich, zwischen 10:21 Uhr und 10:30 Uhr konnte es noch zu Verzögerungen kommen.

Seit fast 1 Stunde sind keine weiteren Fehler bei der Übertragung zu ERIC-Pagern aufgetreten.

Seit 16:55 Uhr ist die Übertragung zu den ERIC-Pagern wieder erfolgreich. Es gibt keine Fehler mehr bei Verbindungen im VLAN.

Der Vorfall betraf nur eine einstellige Anzahl von Alarmierungen, die nicht zugestellt werden konnten.

Wir konnten feststellen, dass eine Störung des VLANs vorliegt zwischen den Schnittstellen-Servern zur Kommunikation mit ERIC-Pagern und einigen unserer Servern im Hauptsystem vorliegt.

Die VLAN-Störung wird durch eine Störung an einem vSwitch durch unseren Provider verursacht. Unser Provider arbeitet bereits an der Lösung der Störung.

Montags um 18 Uhr gibt es wöchentlich eine ähnliche Last wie an Samstagen um 12 Uhr. Diese Spitzenlast wurde nach der Änderung soeben erfolgreich abgefangen und führte zu keinen Beeinträchtigungen mehr. Die Anpassung der Konfiguration hat also erfolgreich gewirkt.

Die Wartungsarbeiten wurden erfolgreich ohne Unterbrechungen abgeschlossen, die Performance der betroffenen Komponente bei der nächsten Spitzenlast wird jetzt beobachtet.

Während weiterer Analyse wurde eine mögliche Ursache für das Problem gefunden. Es gab eine undokumentierte Änderung im verwendeten Datenbankproxy, bei dem sich die Default-Konfiguration für die Anzahl zu verwendender Threads von "auto" auf "1" reduziert hat. Hierdurch werden die verfügbaren Server-Ressourcen nicht ausgenutzt und die Belastbarkeit reduziert sich.

Diese Änderung werden wir jetzt nach und nach für alle Server wieder rückgängig machen, um anschließend die Belastbarkeit erneut zu überprüfen.

Seit 12:22 Uhr sind unsere Dienste wieder erreichbar.

DIe Ursache scheint eine Software-Komponente zu sein, die letzten Donnerstag aktualisiert wurde. Die Belastbarkeit bei Spitzenlast scheint sich deutlich verschlechtert zu haben.

Wir gehen davon aus, dass sich das Problem mit sinkender Last in wenigen Minuten von alleine behebt. Außerdem werden wir prüfen, welche Maßnahmen wir ergreifen werden um bei Spitzenlasten wie dem Samstag 12:00 Uhr Probealarm wieder wie gewohnt Stand zu halten.