Categories: CloudServer

Google informiert über Ausfall seiner Cloud

Google hat sich zu den Ursachen des großflächigen Ausfalls von Google Cloud geäußert, von dem ein Großteil der Google-Dienste sowie Services anderer Firmen wie Snapchat betroffen waren. In Mitleidenschaft gezogen wurde dabei vor allem der Osten der USA, aber auch europäische Nutzer konnten zeitweise nicht auf Gmail, YouTube und andere Dienste zugreifen.

Laut Google ermittelte eine Untersuchung als ursprüngliche Ursache eine Konfigurationsänderung, die für eine kleine Gruppe von Servern in einer Region geplant war, aber irrtümlich auf eine große Anzahl von Servern in mehreren benachbarten Regionen angewandt wurde. Dieser Fehler führte dazu, dass diese Regionen nicht mehr als die Hälfte ihrer verfügbaren Netzwerkkapazität nutzen konnten. Das wirkte sich besonders schwerwiegend für Plattformen wie YouTube aus, die auf eine hohe Bandbreite angewiesen sind – und weniger auf Dienste wie die Google-Suche, bei der es nur eine geringe Zunahme der Latenzzeit gab.

„Insgesamt musste YouTube während des Zwischenfalls einen 10-prozentigen Abfall bei den weltweiten Ansichten hinnehmen, während Google Cloud Storage eine 30-prozentige Verringerung des Traffics verzeichnete“, führt Benjamin Treynor Sloss in einem Blogeintrag aus, als Vice President of Engineering für die Google Cloud verantwortlich. „Rund ein Prozent der aktiven Gmail-Nutzer erlebten Probleme mit ihrem Konto. Während das einen kleinen Teil der Nutzer ausmacht, steht es doch für Millionen von Nutzern, die keine E-Mails senden oder empfangen konnten.“

Der Ausfall dauerte vier Stunden und konnte nicht schneller behoben werden, obwohl das Problem „innerhalb von Sekunden“ erkannt wurde und klar war, dass die verbleibende Netzwerkkapazität nicht für den Traffic von und zu den betroffenen Regionen ausreichte. „Das Netzwerk wurde überlastet, und unsere Netzwerksysteme begannen korrekt mit der Triagierung der Traffic-Überlastung und ließen größere, weniger latenzempfindlichen Traffic fallen, um kleinere und weniger latenzempfindliche Traffic-Flows zu erhalten“, erläutert Sloss – und vergleicht es mit dem Transport dringender Pakete mit Fahrradkurier während eines extremen Verkehrsstaus.

Die alarmierten Ingenieursteams identifizierten das Problem zwar innerhalb von Sekunden, konnten es aber nicht wie erwartet innerhalb von wenigen Minuten beheben. Denn „dieselbe Netzwerküberlastung, die die Serverleistung verschlechterte, behinderte auch die Ingenieursteams bei der Wiederherstellung der korrekten Konfigurationen, was die Ausfallzeit verlängerte“. Bei Hacker News berichtete ein Google-Cloud-Mitarbeiter zudem, dass auch die bei Ausfällen genutzten internen Kommunikationstools ausfielen.

Als abschließenden Schritt beschreibt der Google-Manager eine gründliche Nachuntersuchung, um sicher zu gehen, dass alle mitwirkenden Faktoren sowohl für die Netzwerkkapazität als auch für die langsame Wiederherstellung verstanden wurden. Daraus sollen Maßnahmen abgeleitet werden, um „sicher zu stellen, dass wir nicht nur die direkte Ursache des Problems behoben haben, sondern auch gegen die ganze Problemklasse geschützt sind, die dieser Zwischenfall verdeutlichte“.

Bernd Kling

Recent Posts

Google warnt vor Microsoft-Browser Edge

Die Warnung wird beim Besuch des Chrome Web Stores eingeblendet und empfielt den Nutzern die Installation von Chrome. Allerdings wird…

3 Stunden ago

Supercomputer Hawk mit 11.260 AMD-Prozessoren geht in Betrieb

Das Höchstleistungsrechenzentrum in Stuttgart (HLRS) hat heute offiziell den Supercomputer Hawk in Betrieb genommen. Der Großrechner stammt von Hewlett Packard…

5 Tagen ago

BlackBerry: Automobilindustrie und Einzelhandel sollten sich auf mehr Bedrohungen einstellen

Der Anstieg von Angriffen in der Automobilindustrie werde durch die fortschreitende Vernetzung der PKWs begünstigt. Das ist das Ergebnis des…

5 Tagen ago

Telekom blickt auf ein Rekordjahr zurück

Der Konzern erzielt 2019 einen Umsatz von 80,5 Milliarden Euro, was einem Anstieg gegenüber dem Vorjahr um 6.4 Prozent entspricht.…

5 Tagen ago

Dell will RSA Security an Symphony Technology Group verkaufen

Dieser Schritt soll das Portfolio von Dell vereinfachen und der RSA ermöglichen, sich auf ihre Kernaufgabe im Bereich Sicherheit zu…

5 Tagen ago

Webinar: BlackBerry Intelligent Security – Flexible Sicherheitsrichtlinien für mobiles Arbeiten

Die meisten Unified Endpoint Management Produkte platzieren Richtlinien auf einem Gerät oder in einer Anwendung nach eng umrissenen Vorgaben. Entscheidend…

5 Tagen ago