Hochleistungs-NAS-Speicher für KI-Daten

In den vergangenen Jahren haben sich Datenspeichertechnologien von DAS, SAN und NAS zu unstrukturierten Datenspeichern weiterentwickelt. KI wird aber die traditionelle Datenspeicherung auf den Kopf stellen und braucht daher neue Lösungen, die mit den erweiterten Anforderungen durch den Einsatz von generativer Künstlicher Intelligenz Schritt halten können. „Mit dem Aufstieg der generativen KI ist die Nachfrage nach robusten Datenspeicherlösungen noch wichtiger geworden“, sagte Peter Zhou, Leiter der Data-Storage-Produkt-Linie von Huawei, auf dem Innovative Data Infrastructure Forum 2024 in Berlin. Die Clustergröße großer KI-Modelle sei auf Hunderttausende von GPUs angewachsen, was gleichzeitig zu einem Anstieg an Clusterfehlern und Trainingsunterbrechungen führe.

Hohe Leerlaufzeiten der GPUs

Peter Zhou: „Die Unternehmen brauchen unter anderem kosteneffektivere Storage-Lösungen, mit denen sie zu den denselben Kosten mehr Daten speichern und verarbeiten können.“ Der langwierige Prozess des wiederholten Schreibens von Checkpoint-Daten und der Wiederaufnahme des Trainings verlängere zudem die Leerlaufzeiten der GPUs, wodurch die Clusterauslastung auf unter 50 Prozent sinke. Auch daher stelle sich die Frage nach der Nachhaltigkeit. „Storage-Lösungen verbrauchen heute fast 30 Prozent der Energie eines Rechenzentrums. Wir brauchen also Technologien, die den Energieverbrauch dramatisch senken. Andernfalls wird durch den hohen Energieverbrauch der Wert der Digitalisierung bis zu einem gewissen Maß zunichte gemacht“, sagte Peter Zhou. Prognosen gehen davon aus, dass der Stromverbrauch der globalen Rechenzentren bis 2026 um das 2,3-fache gegenüber dem Verbrauch von 2022 steigen wird. Dies würde dem jährlichen Stromverbrauch Japans entsprechen. Mehr als die Hälfte des Stroms in den Rechenzentren wird dann durch KI verbraucht werden.

Die neuen Speicherlösungen von Huawei steigern die Speicherleistung um den Faktor 10 im Vergleich zu bisherigen Speichern. Mit einer Kapazität von 128 TB pro Festplatte verbrauchen die neuen SSDs 88 Prozent weniger Speicherplatz und 92 Prozent weniger Energie als aktuelle SSDs anderer Anbieter, wenn sie jeweils ein PB an Daten speichern. Der Speicher außerdem Bandbreiten in PB/s und 100 Millionen IOPS, was die Effizienz des gesamten generativen KI-Prozesses erheblich verbessert.

Hochleistungs-NAS-Speicher für KI

„Die aktuellen KI-Technologien machen uns etwas Sorgen. Generative KI ist zu energieaufwändig. Derzeitige Systeme verbringen zu viel Zeit damit, dass die GPU auf Daten warten und diese einspeisen. Und sie brauchen zu viel Zeit für die Wiederherstellung aufgrund von Problemen im System. Wir brauchten also eine neue Architektur. OceanStor A800 unterscheidet sich daher völlig von dem, was wir bisher anbieten, zum Beispiel Ocean Store Dorado das in gewisser Weise die traditionelle Computerarchitektur darstellt“, sagt Peter Zhou.

OceanStor A800 – Huawei

Der OceanStor A800 von Huawei ist ein auf KI zugeschnittene Hochleistungs-NAS-Speicher für KI-Daten und ganze KI-Modelle. Er kann die Auslastung von KI-Clustern um 30 Prozent steigern, bietet eine hohe Bandbreite und IOPS, die bis zu achtmal besser sind als die seiner Mitbewerber. Der Speicher ermöglicht die Skalierung auf EB-Level mit bis zu 512 Controllern sowie auf maximal 4.096 Rechenkarten.

Integrierte Ransomware-Abwehr

Durch neue Architekturen und Technologien steigt die Zuverlässigkeit der Speicher auf 99,9999 Prozent. Eine integrierte Ransomware-Erkennungs-Engine erkennt 99,99 Prozent der Ransomware-Angriffe. Die Checkpoint-Wiederherstellungszeit während des KI-Trainings wird auf weniger als eine Minute verkürzt.

Die mehrdimensionalen Tensordaten ermöglichen eine schnelle Datenabfrage über eine intelligente Suchmaschine. Die Retrieval-Augmented Generation (RAG)-Technologie hilft, Halluzinationen in großen KI-Modellen zu vermeiden. Der Energieverbrauch beträgt 0,7 Watt pro Terabyte und die Speicherdichte mehr als 1 PB/U.

Darüber hinaus erleichtert die Data-Fabric-Funktion die Verwaltung von Datenbeständen. Das in der DME integrierte globale Dateisystem Omni-Dataverse macht Unternehmensdaten sichtbar, verwaltbar und überregional mobil und bildet so eine solide KI-Datalake-Speichergrundlage für Unternehmen.

Daten sind digitale Unternehmens-Assets

In Berlin hob Peter Zhou den hohen Anteil von Investitionen in Forschung und Entwicklung bei Huawei hervor, was aufgrund der zunehmenden Digitalisierung wichtig sei: „Auf Group Level investieren wir mehr als 20 Prozent unseres Umsatzes in Forschung und Weiterentwicklung. Storage ist definitiv eine Kernkomponente für IT und insbesondere die Digitalisierung. Die durch die immer tiefer in die Unternehmen eindringende Digitalisierung steigt das Datenaufkommen, aber die verfügbaren Daten werden noch nicht als Assets und Wert wahrgenommen, obwohl Daten als das neue Öl für die Unternehmen bezeichnet werden.“

Data Storage werde daher zunehmend wichtig. „Sowie Papier vor einigen hundert Jahren. Seit die Menschheit Papier nutzt, konnte Wissen geteilt werden. In der digitalen Welt wird Papier durch Storage abgelöst, so dass Storage definitiv eine immer größere Bedeutung bekommt. Wir sehen uns als Papierhersteller der digitalen Ära.“

HDD stößt an Grenzen

Die Industrie würde heute noch auf mechanische Medien wie HDD setzen. „Die HDD-Technologie stößt aber in Bezug auf Kapazität und Leistung an ihre Grenzen. Aber auf der anderen Seite können wir auch feststellen, dass die SSD- und NAND-Technologie sich weiterentwickelt. „Es gibt noch viel Raum für uns, um daran zu arbeiten, die Kosteneffizienz weiter zu verbessern.“

Bandsysteme sind laut Zhou „eine andere schreckliche Technologie. Ich hasse Tonband. Egal welches System, es ist zu langsam. Man muss ein Band per Hand nehmen und in das Lesegerät legen. Das ist zu langsam. Man braucht für die Daten auf dem Band ein bestimmtes Maß an Feuchtigkeit und Temperatur, um diesen Zustand aufrechtzuerhalten. Das verbraucht auch Energie. Eine weitere schreckliche Sache ist, dass Bänder nach vier Jahren überprüft werden muss, um sicherzustellen, dass alle Daten noch lesbar sind. Das ist eine schreckliche Aufgabe für die Techniker, die Bänder hassen. Wir brauchen daher Innovationen, um das Band zu vergessen. Wir sind dabei, etwas zu tun. Vielleicht können wir sie Anfang nächsten Jahres schon ersetzen.“

„KI muss erzogen werden“

Auf die Frage, ob die Menschen sich nicht über KI Sorgen machen sollten, verglich Zhou die KI-Entwicklung mit der Erfindung der elektrischen Energie. „Auch darüber machten sich die Menschen am Anfang Sorgen. Strom könnte Menschen umbringen, was auch definitiv passierte. Aber niemand würde heute auf Elektrizität verzichten.“ Mit KI sei es ähnlich. Einige machen sich Sorgen, andere nehmen die KI-Technologien an. KI sei wie ein Kind, wenn es erwachsen würde: „Wir müssen es erziehen. Wir müssen uns um dieselben Probleme kümmern, wie wir Kinder erziehen. Wenn man es mit schlechtem Wissen oder schrecklichen Ideen vergiftet, dann wird das Kind später als Erwachsener der Gesellschaft schaden. Aber wenn wir vorsichtig sind und vermeiden, dass wir schlechte Daten verwenden oder diese Daten vergiften, dann können wir gute Lösungen für die Menschen erzeugen. Wir müssen also etwas tun, aber keine Angst vor dieser neuen Technologie haben. Wir müssen die Menschen nur dazu ermutigen, die Kraft von KI zu nutzen, um sie besser zu machen.“