DIVERA 24/7 - Alarmierungen über Leitstellen-Accounts lösen nicht aus – Details zu Vorfällen

Alle Systeme funktionieren

Alarmierungen über Leitstellen-Accounts lösen nicht aus

Gelöst
Großer Ausfall
Aufgetreten am vor fast 4 JahrenDauerte 36 Minuten
Aktualisierung
  • Update
    UTC
    Update

    ## Was ist technisch passiert? Bei Alarmierungen über Leitstellen-Schnittstellen ist es wichtig, dass Ereignisse in der richtigen Reihenfolge verarbeitet werden. So sollten Einsatzmittel die im selben Moment zugewiesen und dann alarmiert werden, nicht alarmiert werden, bevor sie dem Einsatz zugeordnet wurden. Daher verwenden wir bei Leitstellen-Schnittstellen eine sequentielle Warteschlange. Der Dienst zur Abarbeitung der Warteschlange hat sich durch ein Speicherleck in einer externen Abhängigkeit aufgehangen, und aufgehört zu arbeiten. Dies führte leider nicht dazu, dass der Dienst sich selbst gestoppt und dann neugestartet hätte. ## Learnings: Welche Maßnahmen ergreifen wir? ### **Früherkennung** 1. Wir passen unsere Überwachung an, sodass längere ungewöhnliche Längen von Warteschlangen zu einer internen Alarmierung führen. 2. Unsere Integrations-Tests die bereits mehrere Schnittstellen \(wie auch die Leitstellen-Schnittstellen\) testen, werden angepasst, dass sie auch die korrekte, vollständige Verarbeitung von Alarmierung über den Leitstellen-Account überprüfen. ### Fehlerbehebung 1. Wir haben das Speicherleck überprüft, und konnten die Ursache dafür beheben. 2. Es ist geplant mehrere Dienste zum Abarbeiten der sequentiellen Warteschlange zu starten, die weiterhin sicherstellt, dass die korrekte Reihenfolge eingehalten wird, es bei einem ähnlichen Fehler aber nicht alle Kunden betreffen wird.

  • Gelöst
    UTC
    Gelöst

    Der Dienst wurde neugestartet, und die Alarmierungen über Leitstellen-Accounts werden bereits wieder regulär verarbeitet.

  • Überprüfung
    UTC
    Überprüfung

    Der Dienst wurde neugestartet, und die Alarmierungen über Leitstellen-Accounts werden bereits wieder regulär verarbeitet.

  • Identifizierung
    UTC
    Identifizierung

    Die Ursache konnte identifiziert werden: der Service zur Abarbeitung der Leitstellen-Warteschlange hat sich um 06:18 Uhr aufgehängt und nicht von selbst neugestartet. Wir werden jetzt zunächst die ausstehenden Warteschlangen-Einträge manuell löschen, um zu verhindern, dass Alarmierungen nachträglich auslösen. Anschließend wird der Dienst neugestartet.

  • Analyse
    UTC
    Analyse

    Eingehende Alarmierungen über Leitstellen-Accounts (bspw. per WDX3) werden nicht umgesetzt, also nicht an die adressierten Einheiten weitergeleitet.