Googlebot

aus Wikipedia, der freien Enzyklopädie

Googlebot ist der Webcrawler der Suchmaschine Google. Dabei handelt es sich um ein Computerprogramm, das Texte und Bilder im World Wide Web herunterlädt und diese über die Web- und die Bildsuche von Google auffindbar macht.

Inhaltsverzeichnis 1 Arbeitsweise 2 Identifikation 3 Verifikation 4 Quellen 5 Weblinks

[Bearbeiten] Arbeitsweise

Zwischen dem Herunterladen einer Dateiversion und der Aktualisierung von Googles Index mit dem Inhalt dieser neuen Version im Fall einer Veränderung liegen üblicherweise einige Tage.

Wie oft Googlebot eine Seite besucht, hängt unter anderem davon ab, wie viele externe Links auf diese Seite verweisen und wie hoch ihr PageRank-Wert ist.

Googlebot beachtet die Datei robots.txt und die Robots-Anweisungen in HTML-Meta-Tags.

[Bearbeiten] Identifikation

Googlebot identifiziert sich, je nach Aufgabe, mit den folgenden drei User-Agent-Kennungen: Googlebot/2.1 (+http://www.google.com/bot.html) Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot-Image/1.0

Ein weiterer Google-Crawler dient dazu, Seiten herunterzuladen, um passende Werbung im Rahmen des Google-AdSense-Programms zu ermitteln. Er identifiziert sich wie folgt: Mediapartners-Google/2.1

[Bearbeiten] Verifikation

Manche Web-Benutzer und Crawler geben sich über diese Kennungen fälschlicherweise als Googlebot aus, in der Hoffnung, dass ein Site-Betreiber für Googlebot besonders gute oder werbefreie Inhalte bereitstellt.

Um festzustellen, ob es sich bei einem Besucher tatsächlich um Googles Crawler handelt, empfiehlt Google die Verwendung des Domain Name System. Zunächst wird die IP-Adresse des Besuchers mittels einer inversen Anfrage in einen Domain-Namen übersetzt, der auf googlebot.com enden sollte. Anschließend überprüft man mit einer regulären DNS-Anfrage (forward lookup), ob man wieder die ursprüngliche IP-Adresse des Besuchers erhält.^[1]

[Bearbeiten] Quellen

1. ↑ Matt Cutts: How to verify Googlebot. 20. September 2006. Official Google Webmaster Central Blog, http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html (abgerufen am 13. November 2006).

[Bearbeiten] Weblinks

• Fragen und Antworten zum Googlebot
• Official Google Webmaster Central Blog Offizielle Informationen von Google über Googlebot für Website-Betreiber (englisch)

Dieser Artikel basiert auf dem Artikel Googlebot aus der freien Enzyklopädie Wikipedia und steht unter der GNU-Lizenz für freie Dokumentation. In der Wikipedia ist eine Liste der Autoren verfügbar.