SOPA-Proteste: Google bremste seinen Webcrawler

Google hat im Kontext der gestrigen Proteste gegen den Stop Online Piracy Act (SOPA) seinen Webcrawler gebremst und Webmastern Tipps gegeben, um zu verhindern, dass der Web-Index nach dem Aktionstag voller geschwärzter Seiten ist. Die Maßnahmen kündigte Pierre Far über Google+ an.

Als wichtigsten Tipp gab Far, den HTTP-Statuscode 503 zu verwenden. Dies steht für „Service Unavailable“ und bedeutet unter gewöhnlichen Umständen, dass eine Website aktuell mit Anfragen überlastet ist. Parallel ist es möglich, einen Termin für die nächste Anfrage anzugeben. Ein Googlebot oder ein anderer Suchmaschinen-Agent würde also vorläufig abgewiesen und hätte bei korrekt gesetztem Status die geschwärzte Protestseite nicht in den Index aufgenommen.


Zahlreiche kleinere und größere Websites haben sich den Protesten gegen SOPA und PIPA angeschlossen (Screenshot: ZDNet).

Anders sieht es bei Sites aus, die nur einen Teil ihrer Inhalte geschwärzt haben. Ihnen riet Google davon ab, den Statuscode in robots.txt auf 503 zu setzen. Auf keinen Fall sollten Websitebetreiber außerdem mit „Disallow: /“ Suchmaschinenagenten komplett von ihrer Site aussperren, da dies Konsequenzen für die Positionierung auf Ergebnisseiten und den Google-Rank haben könnte, die weit über den SOPA-Protest hinausgingen.

Insgesamt hielt es Google für empfehlenswert, alle Änderungen simpel zu halten und beispielsweise nichts an den DNS-Einstellungen zu ändern. Auch die Inhalte der robots.txt, die direkte Anweisungen an Crawler enthält, sollten sonst unverändert bleiben.

Googles SEO-Experte Matt Cutts nannte parallel in einem Blogeintrag zu SOPA eine interessante Zahl. Ihm zufolge geben die hinter SOPA stehenden Gruppen neunmal mehr Geld für Lobbyarbeit in Washington DC aus als die Gegner. Er beruft sich dabei auf Zahlen von Maplight.

Mit Google, Wikipedia und Craigslist haben gestern drei der größten Websites in den USA – und zahlreiche kleinere – ihre Nutzer zu Protesten aufgerufen. Sie sollen sich bei ihren Abgeordneten über zwei unter anderem von Rechteverwaltern vorangetriebene Gesetzentwürfe beschweren. Während die Online-Enzyklopädie bis auf Informationsseiten zu den umstrittenen Gesetzen SOPA und PIPA für 24 Stunden den Zugriff auf alle ihre Inhalte in den USA blockierte, deckte Google sein Logo für US-Nutzer mit einem massiven schwarzen Zensurbalken ab und verlinkte darunter auf eine Online-Petition an den US-Kongress: „Sagen Sie dem Kongress, dass er nicht das Web zensieren und unsere innovative Wirtschaft lähmen soll.“

ZDNet.de Redaktion

Recent Posts

Neue Backdoor: Bedrohung durch Malvertising-Kampagne mit MadMxShell

Bisher unbekannter Bedrohungsakteur versucht über gefälschte IP Scanner Software-Domänen Zugriff auf IT-Umgebungen zu erlangen.

3 Stunden ago

BSI-Studie: Wie KI die Bedrohungslandschaft verändert

Der Bericht zeigt bereits nutzbare Angriffsanwendungen und bewertet die Risiken, die davon ausgehen.

20 Stunden ago

KI-Wandel: Welche Berufe sich am stärksten verändern

Deutsche sehen Finanzwesen und IT im Zentrum der KI-Transformation. Justiz und Militär hingegen werden deutlich…

21 Stunden ago

Wie ein Unternehmen, das Sie noch nicht kennen, eine Revolution in der Cloud-Speicherung anführt

Cubbit ist das weltweit erste Unternehmen, das Cloud-Objektspeicher anbietet. Es wurde 2016 gegründet und bedient…

1 Tag ago

Dirty Stream: Microsoft entdeckt neuartige Angriffe auf Android-Apps

Unbefugte können Schadcode einschleusen und ausführen. Auslöser ist eine fehlerhafte Implementierung einer Android-Funktion.

1 Tag ago

Apple meldet Umsatz- und Gewinnrückgang im zweiten Fiskalquartal

iPhones und iPads belasten das Ergebnis. Außerdem schwächelt Apple im gesamten asiatischen Raum inklusive China…

1 Tag ago