Googles Technologien: Von Zauberei kaum zu unterscheiden

Für Google sprechen zwei entscheidende Faktoren: Erstens verläuft die ganze Thematik laut Hölzle absolut parallel. Das bedeutet, dass man mit einer Verdoppelung der eingesetzten Hardware die Performance verdoppeln kann (oder die Kapazität, wenn man so will – wichtig ist hier nur, dass es keine abnehmenden Skalenerträge wie bei weniger parallel strukturierten Problemstellungen gibt).

Der zweite Faktor zu Gunsten von Google sind die fallenden Hardwarepreise. Verdoppelt sich die Indexgröße, bedeutet die absolut parallele Natur dieser Thematik, dass Google die Anzahl der Rechner verdoppeln und die gleiche Antwortzeit erhalten könnte, um so linear mit dem Datenverkehr zu wachsen. „In Wirklichkeit würden wir (von einem geschäftlichen Standpunkt aus betrachtet) gern nicht ganz linear mitwachsen, um die Kosten niedrig zu halten“, sagte Hölzle. „Doch glücklicherweise wird Hardware immer preiswerter.“

Während also das Web jedes Jahr größer wird und zur Indexierung, Suche und Ausgabe von Webseiten immer mehr Hardware benötigt wird, wird diese immer preiswerter, so dass sich das Ganze „mehr oder weniger ausgleicht“, um es in Hölzles Worten auszudrücken.

Mit den wachsenden Proportionen des Betriebs ergeben sich bestimmte Probleme, die bei kleineren Systemen kein Thema wären. So verwendet Google zum Beispiel nur IDE-Laufwerke als Speichermedien. Diese sind schnell und preiswert, aber nicht besonders zuverlässig. Aus diesem Grund hat Google ein Dateisystem namens Google File System beziehungsweise GFS entwickelt, das davon ausgeht, dass ein einzelnes Speichergerät jederzeit wegen eines Absturzes, eines Plattenverlusts oder einfach, weil jemand auf ein Kabel getreten ist, ausfallen kann.

In den einzelnen PCs gibt es keine Platten-Arrays, stattdessen speichert Google jedes einzelne Datenbit dreifach: auf drei Rechnern, die auf verschiedenen Racks sitzen, die wiederum an unterschiedliche Daten-Switches angeschlossen sind. So wird sichergestellt, dass es zwischen dem Benutzer und den Daten keinen Single Point of Failure gibt. „Wir setzen diese Struktur für mehrere Hundert Terabyte von Daten ein“, sagte Hölzle.

Dennoch darf man nicht erwarten, GFS bald auf einem gewöhnlichen Desktop zu finden – es ist kein Allzweckdateiensystem. Beispielsweise ist ein GFS-Block 64 MB groß, verglichen mit den üblicheren 2 KB in einem Desktop-Dateisystem. Hölzle sagte, dass Google über 30 GFS-gestützte Cluster besitze, von denen manche bis zu 2000 Rechner mit Petabytes an Speicherkapazität umfassten. Diese großen Cluster können kontinuierlich Lese- und Schreibgeschwindigkeiten von 2 Gbit/s bereitstellen – eine Meisterleistung, die dadurch ermöglicht wird, dass jeder PC 2 Mbit/s schaffen kann.

Einmal, so Hölzle, „trennte jemand ein 80-Rechner-Rack von einem GFS-Cluster. Die Rechnerleistung wurde langsamer, als das System sich zu replizieren begann und wir verloren ein wenig Bandbreite, aber trotzdem funktionierte es weiter. Das ist ungeheuer wichtig, wenn man 2000 Rechner in einem Cluster hat.“ Wenn man 2000 Maschinen betreibt, kann man pro Tag mit zwei Ausfällen rechnen.

Themenseiten: IT-Business, Strategien

Fanden Sie diesen Artikel nützlich?
Content Loading ...
Whitepaper

ZDNet für mobile Geräte
ZDNet-App für Android herunterladen ZDNet-App für iOS

Artikel empfehlen:

Neueste Kommentare 

1 Kommentar zu Googles Technologien: Von Zauberei kaum zu unterscheiden

Kommentar hinzufügen
  • Am 5. Februar 2005 um 10:27 von Adminator

    Örks.
    Habe fertig. Dazu fällt mir nichts mehr ein.

    Petabyte, Google File System, 1k-Abfragen pro Sekunde, 60.000 PC’s…

    …….>
    Endlich ist es soweit: Die netten vollbärtigen Physiker, die Frauenversteher, die Geeks und die Nerds übernehmen in Kürze die Weltherrschaft. @Hölzle und Co: Bitte bleibt sauber und lasst euch nicht von den Bush’s und $$$’s und all‘ den anderen Anfechtungen vom rechten Weg abbringen!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *