Deepbot

Als Deepbot wird eine bestimmte Art von Suchmaschinencrawler bezeichnet, der wie der Name schon sagt, tief (englisch: deep) in die Struktur einer Webseite verstößt, um deren Inhalt vollständig zu indexieren. Einer solcher Vorgang, das sog. Crawling, findet in regelmäßigen Abständen statt. Der Begriff stammt aus der Frühzeit von Google: Damals fand dieser sogenannte Deep Crawl etwa einmal im Monat statt. Heute crawlt der Googlebot laufend — bei den meisten Websites im Durchschnitt alle paar Sekunden.

Der Deepbot springt beim Indexieren der Inhalte von Verweis zu Verweis und bildet so die Struktur und die Inhalte der entsprechenden Webseite ab. Anhand der gesammelten Datenmenge durch den Deepbot, berechnen Suchmaschinen wie Google mit Hilfe eines speziellen Algorithmus das Ranking einer Webseite bzw. die Rankings einzelner Unterseiten. Hier wird deutlich, dass für ein gutes Ranking, neben den Inhalten auch die Struktur der Webseite gewährleistet sein sollte.

Deepbot – Abgrenzung zum Freshbot

Neben dem Deepbot, der die vertikale und damit die tiefe Struktur einer Webseite abbildet, gab es den Freshbot, der sein Augenmerk auf Webseiten legte, die ihren Content regelmäßig aktualisieren, beispielsweise News-Seiten.

Der Deepbot bildete die Tiefenstruktur unabhängig von der Aktualität der einzelnen Webseite ab und indexierte diese. Das Ziel war hierbei, dem Nutzer, entsprechend seiner Suchanfrage, innerhalb kürzester Zeit das bestmögliche Ergebnis anzuzeigen. Im Gegensatz zum Freshbot, besuchte der Deepbot bereits indexierte Webseiten und passte inhaltliche und strukturelle Änderungen an. Durch diese Änderungen können Suchmaschinen wie Google, die Reihenfolge der angezeigten Suchergebnisse in den SERPs ständig verändern.

Der Freshbot konnte den Deepbot im gewisser Weise bei der Arbeit unterstützen, in dem er während seines Crawlingvorgangs Links mit aufnahm, die der Deepbot noch indexieren konnte.

Grundsätzlich waren beide Bots im Einsatz, wobei der Deepbot für die Abbildung der Struktur und der Freshbot für die Aktualität der Datenbestände zuständig war. Schon 2004 berichtete die Fachpresse, dass der Freshbot auch tiefe Crawls übernahm und die Trennung an Bedeutung verlor. Heute fasst Google seine Such-Crawler unter dem Namen Googlebot zusammen, der in einer Smartphone- und einer Computer-Variante arbeitet; die meisten Anfragen stammen vom mobilen Crawler.

Bezug zu SEO

Crawler — früher Deep- und Freshbot, heute der Googlebot — sind für die Indexierung von Webseiten von elementarer Bedeutung. Erst durch sie wird ein Ranking bei Suchmaschinen wie Google möglich.

Aus diesem Grund ist wichtig, die Webseitenstruktur sowie die interne und externe Verlinkung im Blick zu haben und entsprechen zu pflegen. Eine gute interne Verlinkung hilft dem Crawler beispielsweise dabei, die Webseite in seiner gesamten Breite und Tiefe korrekt zu erfassen und wiederzugeben. In der Google Search Console (früher Webmaster-Tools) kann man mit dem URL-Prüftool beantragen, dass eine einzelne URL gecrawlt und indexiert wird; es ersetzt die frühere Funktion „Abruf wie durch Google“. Für viele URLs reicht man stattdessen eine Sitemap ein. Eine Garantie für eine schnelle Aufnahme in den Index ist beides nicht.