Weltgrößte Internet-Suchmaschine online

Mit Fast Search ist die Suchmaschine mit dem nach Betreiberangaben größten Fundus an Sites online gegangen. Unter http://www.alltheweb.com bietet „The World’s Biggest Search Engine“ seinen Dienst an. Derzeit erfaßt das Tool rund 200 Millionen Einzel-URLs – in einem Jahr sollen alle (!) Sites erfaßt werden.

Fast Search ist das Ergebnis von mehr als einem Jahrzehnt Forschung in der Optimierung von Suchalgorithmen und -architekturen, ein Projekt, das ursprünglich vom norwegischen Institut für Technologie in Trondheim initiiert wurde.

Die Architektur basiert auf den Dell-Hochleistungsservern Poweredge und den Powervault Speicher-Subsystemen. Diese Systeme arbeiten parallel, um einerseits Nutzeranfragen zu verteilen, andererseits den Dokumentenkatalog zu durchsuchen und schließlich das Web zu durchforsten.

Ein wichtiges Ziel der Search-Architektur ist es nach Betreiberangaben, das Anfragevolumen (Anzahl der Suchvorgänge) und die Größe des Kataloges (Anzahl der Dokumente) linear zu skalieren. So soll mit dem Wachstum des Internets Schritt gehalten werden.

„Die Ankündigung von Fast setzt einen neuen Benchmark bei der Größe von Suchmaschinen und der angebotenen Abdeckung. Alle, die nach der Möglichkeit Ausschau halten, das gesamte Web vollständig abzusuchen, sollten es definitiv mit All The Web versuchen,“ sagte der Herausgeber von Internet.coms Searchenginewatch.com, einer Site speziell für Suchmaschinen, Danny Sullivan.

Und tatsächlich: Einige Probeläufe in der ZDNet-Redaktion zeitigen überraschend positive Ergebnisse. Die Maschine findet deutlich mehr und deutlich genauer, wonach gesucht wurde, als herkömmliche Webkataloge.

Fast plant, Fast Search an große Portale, Suchmaschinen, ISP und Content Sites weiterzuverkaufen.