Hortonworks verkürzt Hadoop-Releasezyklus

Hortonworks hat angekündigt, seine Hadoop-Distribution für Unternehmenskunden namens Hortonworks Data Platform (HDP) häufiger zu aktualisieren. Parallel informiert es über eine Partnerschaft mit Hewlett Packard Enterprise (HPE), die zu weiteren Verbesserungen von Apache Spark führen soll.

Kernkomponenten von Apache Hadoop wie das Dateisystem HDFS, der Algorithmus MapReduce, das Cluster-Management-System Yarn sowie das Konfigurationssystem Apache Zookeeper sollen jährlich aktualisiert werden. Auf Hadoop aufsetzende Dienste wie Spark, Hive, HBase oder Ambari will man hingegen zu einer Gruppe zusammenfassen und mehrmals jährlich erneuern.

Die Umsetzung dieser Strategie hat zugleich in Form einer größeren Aktualisierung begonnen. Mit der Ankündigung machte Hortonworks Apache Spark 1.6, Apache Ambari 2.2 und SmartSense 1.2 als Elemente der Hortonworks Data Platform 2.4 verfügbar. Mit Hortonworks DataFlow 1.2 gibt es auch ein Update der Plattform für Echtzeit-Datenstöme und das Internet der Dinge. HDF 1.2 integriert die Streaming-Analytics-Engine Apache Kafka wie auch Apache Storm, das den Daten praktisch nutzbare Erkenntnisse abringen soll. HDF 1.2 wird noch im im ersten Quartal 2016 verfügbar sein.

Whitepaper

Studie zu Filesharing im Unternehmen: Kollaboration im sicheren und skalierbaren Umfeld

Im Rahmen der von techconsult im Auftrag von ownCloud und IBM durchgeführten Studie wurde das Filesharing in deutschen Unternehmen ab 500 Mitarbeitern im Kontext organisatorischer, technischer und sicherheitsrelevanter Aspekte untersucht, um gegenwärtige Zustände, Bedürfnisse und Optimierungspotentiale aufzuzeigen. Jetzt herunterladen!

Die Ankündigung von Hortonworks ist ein weiterer Schritt auf Hadoops Weg zu einem gereiften Unternehmenswerkzeug. Hortonworks, IBM und Pivotal hatten im April 2015 angekündigt, ein standardisiertes Hadoop auszuliefern. Im Zuge der Open Data Platform Initiative verwenden sie einen einheitlichen Kern. Er umfasst Apache Hadoop 2.6 einschließlich der Komponenten HDFS, YARN und Mapreduce sowie die Apache-Software Ambari. Lösungsanbieter benötigen somit nur mehr eine einzelne Zertifikation.

Zusammen mit HPE will Hortonworks nun das Cluster-Computing-Framework Spark voranbringen. Auch hier weist es mit Ankündigung schon erste Erfolge vor, nämlich Verbesserungen der Shuffle-Engine, die schnelleres Sortieren und In-Memory-Computing ermöglichen. Auch die Speichernutzung wurde optimiert. Die beiden Ansätze könnten zu deutlichen Verbesserungen bei Leistung und Skalierbarkeit führen.

Hortonworks mit Sitz in Palo Alto (Kalifornien) wurde im Juni 2011 als unabhängiges Softwareunternehmen von Yahoo ausgegründet. Es liefert nach eigenen Angaben die meisten Code-Beiträge zu Apache Hadoop und ist Veranstalter des Hadoop Summit. Zudem verweist es gern auf seine zu 100 Prozent offene Produktstrategie und seine weitreichende Vernetzung in der Branche. Zu seinen Konkurrenten zählt etwa Hadoop-Distributor Cloudera, das mit Intel kooperiert.

[mit Material von Larry Dignan, ZDNet.com]

Tipp: Wie gut kennen Sie sich mit Open-Source aus? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de

Florian Kalenda

Seit dem Palm Vx mit Klapp-Tastatur war Florian mit keinem elektronischen Gerät mehr vollkommen zufrieden. Er nutzt derzeit privat Android, Blackberry, iOS, Ubuntu und Windows 7. Die Themen Internetpolitik und China interessieren ihn besonders.

Recent Posts

Sinequa-Marktbefragung in UK, Frankreich und Deutschland: In punkto DSGVO-Reife hält sich jeder für den Spitzenreiter

Zwei Jahre nach Inkrafttreten der EU-weiten DSGVO-Datenschutzbestimmungen hat der Anbieter kognitiver Such- und Analysesoftware eine Umfrage in drei europäischen Ländern…

22 Stunden ago

Ausprobiert: Rock Space WLAN Repeater AC1200

Der Rock Space WLAN Repeater AC1200 funkt mit 5 und 2,4 GHz. Die maximale Übertragungsrate beträgt 867 MBit/s. Bei 2,4…

2 Tagen ago

BSI veröffentlicht Sicherheitsanforderungen für Smartphones

Mit dem Forderungskatalog will das BSI einen öffentlichen Diskurs über Sicherheit von Smartphones starten. Die Anforderungen sollen zukünftig in Richtlinien…

2 Tagen ago

Update für Chrome schließt Zero-Day-Lücke

Mit Version 80.0.3987.122 schließt Google in Chrome drei Sicherheitslücken. Mit CVE-2020-6418 findet sich darunter auch eine Zero-Day-Lücke die aktiv ausgenutzt…

2 Tagen ago

Firefox: Mozilla aktiviert DNS-über-HTTPS für US-Nutzer

Durch die Verschlüsselung von DNS-Abfragen schützen sich Anwender vor dem Ausspionieren des Surfverhaltens. Anders als beim Google-Browser Chrome können Firefox-Nutzer…

2 Tagen ago

Opera R2020 mit verbessertem Tab-Management

Opera 67.0 alias R2020 soll mit seinem verbessertem Tab-Management für Ordnung beim Surfen sorgen. Tabs lassen sich in insgesamt fünf…

2 Tagen ago