Categories: Cloud Server

Google informiert über Ausfall seiner Cloud

Google hat sich zu den Ursachen des großflächigen Ausfalls von Google Cloud geäußert, von dem ein Großteil der Google-Dienste sowie Services anderer Firmen wie Snapchat betroffen waren. In Mitleidenschaft gezogen wurde dabei vor allem der Osten der USA, aber auch europäische Nutzer konnten zeitweise nicht auf Gmail, YouTube und andere Dienste zugreifen.

Laut Google ermittelte eine Untersuchung als ursprüngliche Ursache eine Konfigurationsänderung, die für eine kleine Gruppe von Servern in einer Region geplant war, aber irrtümlich auf eine große Anzahl von Servern in mehreren benachbarten Regionen angewandt wurde. Dieser Fehler führte dazu, dass diese Regionen nicht mehr als die Hälfte ihrer verfügbaren Netzwerkkapazität nutzen konnten. Das wirkte sich besonders schwerwiegend für Plattformen wie YouTube aus, die auf eine hohe Bandbreite angewiesen sind – und weniger auf Dienste wie die Google-Suche, bei der es nur eine geringe Zunahme der Latenzzeit gab.

„Insgesamt musste YouTube während des Zwischenfalls einen 10-prozentigen Abfall bei den weltweiten Ansichten hinnehmen, während Google Cloud Storage eine 30-prozentige Verringerung des Traffics verzeichnete“, führt Benjamin Treynor Sloss in einem Blogeintrag aus, als Vice President of Engineering für die Google Cloud verantwortlich. „Rund ein Prozent der aktiven Gmail-Nutzer erlebten Probleme mit ihrem Konto. Während das einen kleinen Teil der Nutzer ausmacht, steht es doch für Millionen von Nutzern, die keine E-Mails senden oder empfangen konnten.“

Der Ausfall dauerte vier Stunden und konnte nicht schneller behoben werden, obwohl das Problem „innerhalb von Sekunden“ erkannt wurde und klar war, dass die verbleibende Netzwerkkapazität nicht für den Traffic von und zu den betroffenen Regionen ausreichte. „Das Netzwerk wurde überlastet, und unsere Netzwerksysteme begannen korrekt mit der Triagierung der Traffic-Überlastung und ließen größere, weniger latenzempfindlichen Traffic fallen, um kleinere und weniger latenzempfindliche Traffic-Flows zu erhalten“, erläutert Sloss – und vergleicht es mit dem Transport dringender Pakete mit Fahrradkurier während eines extremen Verkehrsstaus.

Die alarmierten Ingenieursteams identifizierten das Problem zwar innerhalb von Sekunden, konnten es aber nicht wie erwartet innerhalb von wenigen Minuten beheben. Denn „dieselbe Netzwerküberlastung, die die Serverleistung verschlechterte, behinderte auch die Ingenieursteams bei der Wiederherstellung der korrekten Konfigurationen, was die Ausfallzeit verlängerte“. Bei Hacker News berichtete ein Google-Cloud-Mitarbeiter zudem, dass auch die bei Ausfällen genutzten internen Kommunikationstools ausfielen.

Als abschließenden Schritt beschreibt der Google-Manager eine gründliche Nachuntersuchung, um sicher zu gehen, dass alle mitwirkenden Faktoren sowohl für die Netzwerkkapazität als auch für die langsame Wiederherstellung verstanden wurden. Daraus sollen Maßnahmen abgeleitet werden, um „sicher zu stellen, dass wir nicht nur die direkte Ursache des Problems behoben haben, sondern auch gegen die ganze Problemklasse geschützt sind, die dieser Zwischenfall verdeutlichte“.

Bernd Kling

Recent Posts

BeiTaAd: Google verbannt chinesischen App-Entwickler CooTek

CooTek hatte die mit BeiTaAd bezeichnete Adware als Plug-in für 238 verschiedenen Anwendungen über Google Play ausgeliefert. Dazu gehörte auch…

6 Minuten ago

Huawei: US-Kongress wehrt sich gegen Handelserleichterungen

Das Gesetz mit der Bezeichnung "Defending America's 5G Future Act" würde dem Präsidenten verbieten, das Handelsverbot gegenüber Huawei ohne ausdrückliche…

3 Stunden ago

Galaxy Note 10 mit neuem Prozessor

Darauf deutet ein Geekbench-Eintrag mit einem Exynos 9825 hin. Ähnlich wie Qualcomm mit dem Snapdragon 855+ könnte der Samsung-Chip gegenüber…

4 Stunden ago

Anker-Netzteil PowerPort+ Atom III lieferbar

Ausgerüstet ist das Netzteil mit den neuen PowerIQ-Chips der dritten Generation. Damit unterstützt das 60-Watt-Modell Qualcomm Quick Charge 3.0 und…

19 Stunden ago

VSC-4: Österreich erhält neuen Supercomputer

Insgesamt verfügt der VSC-4 Supercomputer über 790 Knoten zu je zwei Prozessoren mit je 24 Kernen – also insgesamt 37920…

20 Stunden ago

Windows 10 19H2 erlaubt Nutzung von Alexa & Co. im Sperrbildschirm

Eine Aktivierung von Alexa & Co., also einem Digitalassistenten eines Drittanbieters, ist per Sprachaktivierung vom Sperrbildschirm aus möglich. Das Build…

21 Stunden ago