Als Deepbot wird eine bestimmte Art von Suchmaschinencrawler bezeichnet, der wie der Name schon sagt, tief (englisch: deep) in die Struktur einer Webseite verstößt, um deren Inhalt vollständig zu indexieren. Einer solcher Vorgang, das sog. Crawling, findet in regelmäßigen Abständen statt. In den meisten Fällen liegt zwischen zwei Crawlingvorgängen ein Zeitraum von ungefähr einem Monat.
Der Deepbot springt beim Indexieren der Inhalte von Verweis zu Verweis und bildet so die Struktur und die Inhalte der entsprechenden Webseite ab. Anhand der gesammelten Datenmenge durch den Deepbot, berechnen Suchmaschinen wie Google mit Hilfe eines speziellen Algorithmus das Ranking einer Webseite bzw. die Rankings einzelner Unterseiten. Hier wird deutlich, dass für ein gutes Ranking, neben den Inhalten auch die Struktur der Webseite gewährleistet sein sollte.
Deepbot – Abgrenzung zum Freshbot
Neben dem Deepbot, der die vertikale und damit die tiefe Struktur einer Webseite abbildet, gibt es den Freshbot, der sein Augenmerk auf Webseiten legt, die ihren Content regelmäßig aktualisieren, beispielsweise News-Seiten.
Der Deepbot bildet die Tiefenstruktur unabhängig von der Aktualität der einzelnen Webseite ab und indexiert diese. Das Ziel ist hierbei, dem Nutzer, entsprechend seiner Suchanfrage, innerhalb kürzester Zeit das bestmögliche Ergebnis anzuzeigen. Im Gegensatz zum Freshbot, besucht der Deepbot bereits indexierte Webseiten und passt inhaltliche und strukturelle Änderungen permanent an. Durch diese Änderungen können Suchmaschinen wie Google, die Reihenfolge der angezeigten Suchergebnisse in den SERPs ständig verändern.
Der Freshbot kann den Deepbot im gewisser Weise bei der Arbeit unterstützen, in dem er während seines Crawlingvorgangs Links mit aufnimmt, die der Deepbot noch indexieren kann.
Grundsätzlich sind beide Bots permanent aktiv, wobei der Deepbot für die Abbildung der Struktur und der Freshbot für die Aktualität der Datenbestände zuständig ist.
Bezug zu SEO
Sowohl der Deep- als auch der Freshbot sind für die Indexierung von Webseiten von elementarer Bedeutung. Erst durch sie wird ein Ranking bei Suchmaschinen wie Google möglich.
Aus diesem Grund ist wichtig, die Webseitenstruktur sowie die interne und externe Verlinkung im Blick zu haben und entsprechen zu pflegen. Eine gute interne Verlinkung hilft dem Deepbot beispielsweise dabei, die Webseite in seiner gesamten Breite und Tiefe korrekt zu erfassen und wiederzugeben. In den Webmastertools von Google, kann man Google unter der Rubrik “Abruf wie durch Google” dazu auffordern, neue Inhalte durch den Bot indexieren zu lassen. Dazu muss man die entsprechende URL eintragen und “An den Index senden” wählen.
.