Googlebot

Als Googlebot wird der Crawler von Google bezeichnet, der so gut wie alle öffentlich zugänglichen Inhalte bzw. Dokumente des Word Wide Web sammelt, speichert und indexiert. Diese gesammelten Daten nutzt Google, um Suchanfragen mit den entsprechenden Ergebnissen zu beantworten. Wird der Zugriff des Googlebots durch die Webseite nicht verweigert bzw. eingeschränkt, lädt der Googlebot die entsprechende Webseite runter und lädt sie in den Google Index. Hat der Googlebot die Daten gesammelt und gespeichert, dauert es in der Regel ein paar Tage, bis der Google Index aktualisiert wurde.

Die Arbeitsweise des Googlebots

Damit der Googlebot das World Wide Web indexieren kann, greift er auf einen bestimmten Algorithmus zurück. Dieser Algorithmus hilft dem Googlebot dabei, sich innerhalb von Webseiten mit Hilfe interner Verweise zu bewegen und sich somit ein Bild über die Struktur der Webseite zu machen. Der Googlebot folgt aber nicht nur internen, sondern auch externen Verweisen (auch externe Links oder Backlinks genannt). Durch diese Struktur (Seite A verlinkt auf Seite B, Seite B verlinkt auf Seite C usw.) entsteht ein in sich geschlossenes Netz, welches das gesamte Web abbildet.

In welchem Intervall der Googlebot die verschiedenen Webseiten indexiert, hängt von verschiedenen Faktoren ab. Ein Faktor ist beispielsweise die Häufigkeit der Aktualisierung einer Webseite. Crawlt der Googlebot eine Webseite und er stellt fest, dass sich im Vergleich zum letzten Crawling keine Veränderung ergeben hat, vergrößert er tendenziell sein Crawlingintervall. Stellt der Googlebot hingegen fest, dass seit dem letzten Crawlingvorgang weitere Inhalte hinzugekommen sind, ist das für den Googlebot ein positives Signal und er crawlt die Seite zukünftig in einem kürzeren Intervall.

Um eine Webseite durch häufige Zugriffe seitens des Googlebots zu bewahren, speichert der Google nach einem erfolgreichen Crawlingvorgang die gesamten Daten im Cache aller anderen Googlebots. Das hat den Vorteil, dass ein anderer Googlebot der die entsprechende Webseite crawlen möchte, zunächst auf den Cache zurückgreifen kann. Das hat den Vorteil, dass der Webseitenserver nicht belastet und die Ressourcen geschont werden.

Googlebot und SEO

Die Absicht hinter der Suchmaschinenoptimierung ist in der Regel immer die Gleiche, man möchte über Suchmaschinen gefunden werden. Die Grundbedingung dafür ist, dass die entsprechende Webseite bei Google im Index gespeichert wurde. Den Grundstein dafür legt der Googlebot, der Tag für Tag das gesamte Web nach neuen bzw. aktualisierten Inhalten durchforstet.

Möchte man als Webseitenbetreiber verhindern, dass der Googlebot die Webseite indexiert, kann man den Zugriff verweigern. Aber nicht nur dem Googlebot kann der Zugriff verwährt werden, sondern auch Bots anderer Suchmaschinen. Möchte man den Googlebot oder aber auch Bots anderer Suchmaschinen den Zugang zur Webseite verwehren, kommt dazu beispielsweise die Robots.txt in Betracht. Dazu müssen in der Robots.txt zwei Dinge angegeben werden. Neben “User-agent: *” muss auch das Attribut “Disallow: /” angegeben werden.

Möchte man dem Googlebot den Zugriff auf die Webseite ausdrücklich erlauben, hat man über die Google Search Console die Möglichkeit, ihn dazu aufzufordern, die Webseite zu besuchen. Das wäre z.B. dann sinnvoll, wenn eine Webseite erstmals online geht oder einzelne Bereiche einer Webseite erweitert oder ergänzt wurden. Nach jedem Update einer Seite sollte die Möglichkeit in Anspruch genommen werden, damit die Indexierung schneller vonstatten geht.

Google+

Google+ (auch Google Plus) ist ein soziales Netzwerk und ist Teil des weltweit bekannten Konzerns Google Inc. Google+ ging im Jahr 2011 an den Start

Weiterlesen >>

Satelliten-Domain

Mit einer Satelliten-Domain (englisch: satellite domain) bezeichnet man Domains, die primär dazu eingesetzt werden, die Hauptseite durch das Setzen eines Backlink zu stärken. Eine Satelliten-Domain

Weiterlesen >>

ASCII-Code

Unter ASCII versteht man eine Zeichenkodierung, die dazu genutzt wird, um Zeichensätze zu codieren. Die Abkürzung ASCII, welche als „aski“ ausgesprochen wird, steht für „American

Weiterlesen >>

Sandbox

Als Google Sandbox (deutsch: Sandkasten) wird der Effekt bezeichnet, wenn eine meist neue Webseite einen starken Abfall in den Suchergebnisseiten, den SERPs (Search Engine Result

Weiterlesen >>

Expired Domains

Als Expired Domains (deutsch: abgelaufene Domain) werden Domains bezeichnet, die gelöscht und von ihrem Inhaber bei der zuständigen Registrierungsstelle freigegeben worden sind. Bevor die Rechte

Weiterlesen >>

Negative SEO

Mit Negative SEO werden Maßnahmen bezeichnet, deren Ziel das genau Gegenteil der eigentlichen Suchmaschinenoptimierung ist. Möchte man mit der Suchmaschinenoptimierung seine Webseite erfolgreicher machen, tritt

Weiterlesen >>

Über PageRangers

Die PageRangers GmbH ist ein Kölner Unternehmen, welches seit mehreren Jahren professionelle Software im Bereich der Suchmaschinenoptimierung anbietet.

Kontakt

Bei Fragen kannst du uns jederzeit per E-Mail (info@pagerangers.com) oder telefonisch in Köln unter +49 221 177 333 40 erreichen.
Zum Kontaktformular

Partnerprogramm

Wir bieten unseren Affiliate-Partner eine Life-Time-Provision und sehr attraktive Möglichkeiten für ein passives Einkommen. 
Weitere Informationen

PageRangers ist eine Software-Suite, die dir alle Tools bietet um deine Webseite optimal zu verwalten und für Suchmaschinen zu optimieren.