DIVERA 24/7 - Alle Status-Hinweise

Montags um 18 Uhr gibt es wöchentlich eine ähnliche Last wie an Samstagen um 12 Uhr. Diese Spitzenlast wurde nach der Änderung soeben erfolgreich abgefangen und führte zu keinen Beeinträchtigungen mehr. Die Anpassung der Konfiguration hat also erfolgreich gewirkt.

Die Wartungsarbeiten wurden erfolgreich ohne Unterbrechungen abgeschlossen, die Performance der betroffenen Komponente bei der nächsten Spitzenlast wird jetzt beobachtet.

Während weiterer Analyse wurde eine mögliche Ursache für das Problem gefunden. Es gab eine undokumentierte Änderung im verwendeten Datenbankproxy, bei dem sich die Default-Konfiguration für die Anzahl zu verwendender Threads von "auto" auf "1" reduziert hat. Hierdurch werden die verfügbaren Server-Ressourcen nicht ausgenutzt und die Belastbarkeit reduziert sich.

Diese Änderung werden wir jetzt nach und nach für alle Server wieder rückgängig machen, um anschließend die Belastbarkeit erneut zu überprüfen.

Seit 12:22 Uhr sind unsere Dienste wieder erreichbar.

DIe Ursache scheint eine Software-Komponente zu sein, die letzten Donnerstag aktualisiert wurde. Die Belastbarkeit bei Spitzenlast scheint sich deutlich verschlechtert zu haben.

Wir gehen davon aus, dass sich das Problem mit sinkender Last in wenigen Minuten von alleine behebt. Außerdem werden wir prüfen, welche Maßnahmen wir ergreifen werden um bei Spitzenlasten wie dem Samstag 12:00 Uhr Probealarm wieder wie gewohnt Stand zu halten.

Wir konnten in der Monitoring-Phase feststellen, dass eine teilweise Störung des Alarmparsers zwischen 12:43 Uhr und 15:34 Uhr bestand. In einem von fünf Fällen kam es hierbei dazu, dass die Auswertung fehlschlug.

Konkret waren von der Störung 10 Kunden betroffen. Sie betraf generell nur Kunden/Leitstellen mit dem Zusatzmoduls "Alarmparser", der bei Einspeisung von SDS oder Alarmdepeschen bestimmter Dritthersteller/-schnittstellen verwendet wird.

Ursache der Störung war eine fehlerhafte automatisierte Aktualisierung des Alarmparsers, das einen der redundanten Server betraf. Wir arbeiten daran dieses Problem für die Zukunft zu verhindern.

Unser IT-Team konnte die Störung des Alarmparsers um 15:34 Uhr beheben. Wir überprüfen nun unser Monitoring und Logs, um die vollständige Funktionsfähigkeit des Alarmparsers sicherzustellen. Außerdem werden wir die Anzahl an betroffenen Kunden überprüfen.

Wir konnten die Störung der Echtzeitaktualisierung (Websocket) beheben. Das Zertifikat wurde um 08:20 Uhr ausgetauscht, seitdem aktualisieren sich Monitore und Apps wieder in Sekundenbruchteilen.

Der Websocket ist einer der wenigen Dienste, die noch keinen automatisierten Zertifikatswechsel verwenden. Durch einen Lücke im Monitoring wurde für diesen Service auch das Zertifikat nicht automatisiert überprüft, sodass auch die IT nicht informiert wurde. Wir bearbeiten diesen Vorfall und überarbeiten die Prozesse und das Monitoring.

Leider wurde beim TLS-Zertifikatswechsel in KW50 der Websocket-Service nicht berücksichtigt. Daher lief das Zertifikat am 17.12.2023 für den Service ab. Wir tauschen das Zertifikat umgehend aus.

Unser Dienstleister meldet, dass seit 09:50 Uhr die Störung behoben ist, und der SMS-Inbound wieder vollumfänglich zur Verfügung steht.

Unter Umständen kann es sein, dass nun nachträglich die SMS zugestellt werden, und es so zu einer verzögerten Alarmierung kommt. Falls Sie weitere Fragen oder Probleme haben, melden Sie sich gerne bei unserem Support-Team über support@divera247.com.