IBM und die British Library planen, im Rahmen eines Projekts namens BigSheets viele Terabyte an Internetdaten zu analysieren und die wichtigsten zu archivieren. Als technische Basis dienen Open-Source-Tools, unter anderem Hadoop, Nutch und Pig.
Die durchschnittliche Lebensdauer einer Webseite beträgt Forschern zufolge zwischen 44 und 75 Tage. In Großbritannien gehen innerhalb von sechs Monaten ungefähr zehn Prozent der im Web gespeicherten Informationen verloren. Das ist in vielen Fällen kein großer Verlust – in manchen aber doch. IBM BigSheets soll die Spreu vom Weizen trennen und wichtige Daten aus Nachrichten, Medien, Videos in einem leicht zugänglichen Format archivieren. Ziel ist es, die Daten auch mit Anmerkungen zu versehen und eine visuelle Analyse im Browser zu ermöglichen.
Die britische Nationalbibliothek, die ohnehin schon ein Exemplar jeglicher Publikation im Land bekommt, hatte 2004 damit begonnen, bestimmte Websites mit UK-Domains regelmäßig zu speichern. Laut IBMs CTO für neue Technologien, David Boloker, wird dieses Vorgehen einmal Historikern ein gewaltiges Archiv an die Hand geben.
Die für BigSheets genutzte Software setzt auf Open-Source-Komponenten auf. Darunter ist mit Hadoop eine Implementierung eines Frameworks für skalierbares Distributed Computing und Datenspeicherung. Das Suchprojekt Nutch basiert auf Lucene Java, fügt ihm aber internetspezifische Komponenten wie einen Crawler und einen HTML-Parser hinzu. Es kann auch Links in einer Datenbank ablegen und grafisch darstellen. Mit Pig baut IBM zudem auf eine Open-Source-Plattform, die eine Hochsprache für die Datenanalyse im großen Maßstab bereitstellt und mit einer Infrastruktur verbindet, um in der Sprache geschriebene Programme zu evaluieren. Alle drei stehen unter Apache-Lizenz.
Boloker zufolge ist BigSheets als privater Clouddienst implementiert, der auf allen Maschinen der Bibliothek parallele MapReduce-Prozesse aufsetzt. Die British Library will die Daten und Dienste irgendwann auch der Öffentlichkeit zur Verfügung stellen.
Unternehmen greifen von überall aus auf die Cloud und Applikationen zu. Dementsprechend reicht das Burg-Prinzip…
Hacker nutzen eine jetzt gepatchte Schwachstelle im Google-Browser bereits aktiv aus. Die neue Chrome-Version stopft…
Microsoft bietet seit Anfang der Woche einen Patch für die Lücke. Kaspersky-Forscher gehen davon aus,…
Das jüngste Update bringt insgesamt zwölf Fixes. Schadcode lässt sich unter Umständen ohne Interaktion mit…
Eine softwarebasierte Workstation soll es Ingenieuren erlauben, sämtliche Steuerungen zentral zu verwalten. Pilotkunde ist Ford.
Kryptodiebstahl und finanzieller Gewinn sind laut ESET-Forschungsbericht die vorrangigen neuen Ziele.