Hortonworks verkürzt Hadoop-Releasezyklus

Hortonworks hat angekündigt, seine Hadoop-Distribution für Unternehmenskunden namens Hortonworks Data Platform (HDP) häufiger zu aktualisieren. Parallel informiert es über eine Partnerschaft mit Hewlett Packard Enterprise (HPE), die zu weiteren Verbesserungen von Apache Spark führen soll.

Kernkomponenten von Apache Hadoop wie das Dateisystem HDFS, der Algorithmus MapReduce, das Cluster-Management-System Yarn sowie das Konfigurationssystem Apache Zookeeper sollen jährlich aktualisiert werden. Auf Hadoop aufsetzende Dienste wie Spark, Hive, HBase oder Ambari will man hingegen zu einer Gruppe zusammenfassen und mehrmals jährlich erneuern.

Die Umsetzung dieser Strategie hat zugleich in Form einer größeren Aktualisierung begonnen. Mit der Ankündigung machte Hortonworks Apache Spark 1.6, Apache Ambari 2.2 und SmartSense 1.2 als Elemente der Hortonworks Data Platform 2.4 verfügbar. Mit Hortonworks DataFlow 1.2 gibt es auch ein Update der Plattform für Echtzeit-Datenstöme und das Internet der Dinge. HDF 1.2 integriert die Streaming-Analytics-Engine Apache Kafka wie auch Apache Storm, das den Daten praktisch nutzbare Erkenntnisse abringen soll. HDF 1.2 wird noch im im ersten Quartal 2016 verfügbar sein.

Die Ankündigung von Hortonworks ist ein weiterer Schritt auf Hadoops Weg zu einem gereiften Unternehmenswerkzeug. Hortonworks, IBM und Pivotal hatten im April 2015 angekündigt, ein standardisiertes Hadoop auszuliefern. Im Zuge der Open Data Platform Initiative verwenden sie einen einheitlichen Kern. Er umfasst Apache Hadoop 2.6 einschließlich der Komponenten HDFS, YARN und Mapreduce sowie die Apache-Software Ambari. Lösungsanbieter benötigen somit nur mehr eine einzelne Zertifikation.

Zusammen mit HPE will Hortonworks nun das Cluster-Computing-Framework Spark voranbringen. Auch hier weist es mit Ankündigung schon erste Erfolge vor, nämlich Verbesserungen der Shuffle-Engine, die schnelleres Sortieren und In-Memory-Computing ermöglichen. Auch die Speichernutzung wurde optimiert. Die beiden Ansätze könnten zu deutlichen Verbesserungen bei Leistung und Skalierbarkeit führen.

Hortonworks mit Sitz in Palo Alto (Kalifornien) wurde im Juni 2011 als unabhängiges Softwareunternehmen von Yahoo ausgegründet. Es liefert nach eigenen Angaben die meisten Code-Beiträge zu Apache Hadoop und ist Veranstalter des Hadoop Summit. Zudem verweist es gern auf seine zu 100 Prozent offene Produktstrategie und seine weitreichende Vernetzung in der Branche. Zu seinen Konkurrenten zählt etwa Hadoop-Distributor Cloudera, das mit Intel kooperiert.

[mit Material von Larry Dignan, ZDNet.com]

Tipp: Wie gut kennen Sie sich mit Open-Source aus? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de