DIVERA 24/7 - Alle Status-Hinweise

Der Dienstleister hat sofort reagiert: es wird wieder die bekannte Nummer +49 202 37322666 übermittelt.
Danke an die Kunden für die Meldung!

Während der Überprüfungs-Phase konnten wir keine anhaltenden Probleme mehr feststellen.

Es konnten alle Beeinträchtigungen um 18:54 Uhr behoben werden, wir überwachen weiterhin die Situation und ergreifen anschließende Maßnahmen.

Es liegt eine Netzwerkstörung zu einem Server im Cluster vor, wir haben die Isolierungsmechanismen bereits eingeleitet, um die Auswirkungen abzufangen.

Die teilweisen Verbindungsfehler beim Aufruf unseres Dienstes sind vorerst behoben, bei einigen Alarmierungen zwischen 18:33 Uhr und 18:54 Uhr kam es zu Verzögerungen.

Während solcher Störung greifen zum Großteil automatische Mechanismen, die weitere Auswirkungen verhindern. Endgeräte wie Apps oder Schnittstellen unternehmen im Fehlerfall i.d.R. einen erneuten Versuch für die Übermittlung von Daten an unsere Server. So werden die tatsächlichen Auswirkungen möglichst gering gehalten.

Die Wartungsarbeiten wurden erfolgreich abgeschlossen.

Wir beginnen jetzt mit Wartungsarbeiten, um die nächtliche Netzwerkstörung zwischen zwei Servern im Serververbund zu beheben. Die betroffenen Server wurden bereits diese Nacht isoliert, wodurch wir keine Einschränkungen während der Wartungsarbeiten erwarten.

Es konnten alle Beeinträchtigungen um 01:06 Uhr behoben werden, wir überwachen weiterhin die Situation und ergreifen die abschließenden Maßnahmen im Laufe des Tages.

Es liegt eine Netzwerkstörung zu einem Server im Cluster vor, wir haben die Isolierungsmechanismen bereits eingeleitet, um die Auswirkungen abzufangen.

Die teilweisen Verbindungsfehler beim Aufruf unseres Dienstes sind vorerst behoben.

Unser Dienstleister meldete uns am Sonntag, den 25.01. 20:24 Uhr, dass die teilweise Störung seit einigen Tagen behoben ist, und der SMS- und FAX-Inbound wieder vollumfänglich zur Verfügung steht.

Uns wurde folgende Ursache mitgeteilt:

Ursache war eine Fehlkonfiguration beim Mobilfunkanbieter die dazu führte, dass die SIM-Karten trotz Mobilfunkempfang keine SMS / Anrufe empfangen konnten. Wir waren mit dem Mobilfunkbetreiber im engen Kontakt und selbst dieser war anfangs von diesem Fehlerbild überrascht. Als Lösung wurden die SIM-Karten vom Mobilfunkbetreiber mit einem Update bespielt und mussten von uns manuell neu initiiert werden. Alle betroffenen SIM-Karten sind seit einigen Tagen wieder funktionstüchtig.

Die Mitigationsarbeiten wurden abgeschlossen. Auch der Alarmserver (eingehende E-Mail Verarbeitung) berücksichtigt nun wieder die aktuellen Einstellungen für Postfächer.

Es kam zwischen 13:59 Uhr und 14:10 Uhr für ca. 1,5% der Anfragen zu Verbindungsfehlern. Ursache war eine dauerhafte Netzwerkstörung zu einem Server. Durch unser Monitoring, die automatisierten Verteilungseffekte, sowie die vorbereiteten Prozesse, konnten sehr schnell Maßnahmen ergriffen werden, die die Auswirkungen stark eingeschränkt haben.

Desweiteren kam es zwischen 13:59 Uhr und 14:48 Uhr zu einer langsameren Verarbeitung von Alarmierungen über den Leitstellen-Account.

In den nächsten Tagen werden erneut weitere Analysen und Wartungsarbeiten durchgeführt, um Beeinträchtigungen bei Netzwerkstörungen zu minimieren.

Während der laufenden Wartungsarbeiten zur Wiedereingliederung eines Servers nach seiner Störung, werden neue Änderungen an den Alarmserver-Einstellungen, sowie neue RICs seit 15:08 Uhr teilweise nicht berücksichtigt. Wir informieren hier, sobald wir die Arbeiten abgeschlossen haben.

Betroffen ist nur die Alarmierung per E-Mail, wenn neue Zuweisungsregeln (RICs) oder Einstellungen an den erlaubten Absendern seit 15:08 Uhr vorgenommen werden.

Wir haben um 14:41 Uhr eine Maßnahme eingeleitet, um die langsamere Abarbeitung der Alarmierungen zu beheben, seit 14:48 Uhr zeichnen unsere Metriken keine Verzögerungen mehr auf. Zuvor kam es für 95% der Alarmierungen über den Leitstellen-Account zu Verzögerungen zwischen 1-4 Sekunden, in einzelnen Fällen konnte es einige Sekunden länger dauern.

Wir haben um 14:01 Uhr die Ursache identifizieren können und Maßnahmen ergriffen, um einen von einer Störung betroffenen Server aus dem Serververbund zu isolieren. Diese haben dazu geführt haben, dass sich die Fehlerquote bei den Verbindungen bis 14:05 Uhr deutlich reduziert hat. Seit 14:10 Uhr kommt es zu keinen Verbindungsfehlern mehr.

Aktuall kann es zu längerer Verarbeitungszeit und damit kurzen Verzögerungen von wenigen Momenten bei der Alarmierung kommen. Wir arbeiten weiter an der langfristigen Behebung und Wiedereingliederung des betroffenen Systems.