Eine Vielzahl von Informationen auf unzähligen Seiten werden im World Wide Web zur Verfügung gestellt. Google möchte aus diesem Angebot dem User auf seine Suchanfrage ein perfekt zugeschnittenes Suchergebnis liefern. Hierzu werden die unterschiedlichsten Webseiten vom Crawler erfasst und indexiert, um so zu den passenden Suchanfragen in den Google SERP´s zu ranken.
Als Crawling Budget bezeichnet man die Ressourcen, die Google investiert, um Deine Seite zu crawlen. Also die maximale Anzahl an Seiten die von Deiner Webseite gecrawlt werden, da auch Googles Ressourcen nicht unbegrenzt sind und somit nicht alle URLs gecrawlt werden können.
Gerade bei besonders großen Seiten, wie Online-Shops, mit einer Vielzahl von URLs ist folglich besonders wichtig, das Crawling zu steuern. Tipps und Tricks folgen im Beitrag.
Informationen über das Crawl Budget
Informationen zu dem oben beschriebenen Crawl Budget findest Du in der Google Search Console unter Crawling Statistiken, denn hier werden Informationen zur Aktivität des Googlebot auf Deiner Website in den letzten 90 Tagen aufgezeigt. Welche Seiten gecrawlt werden, wie viele Seiten und wie häufig der Google-Bot die Webseite besucht.
Hier ist zu beachten, dass nur bestätigte Webseiten diese Informationen zur Verfügung stehen.
Laut Google gibt es eine "gute" Crawling-Frequenz nicht. Doch ein relativ gleichbleibendes Diagramm, das im Laufe der Zeit höher wird, da auch der Umfang der Seite zunimmt, ist von Vorteil.
Gründe für eine sinkende Frequenz können unter anderem sein, dass eine robots.txt gesetzt wurde oder der Inhalt von Deiner Seite lange Zeit nicht aktualisiert wurde.
Wenn die Frequenz jedoch steigt, kann dies unter anderen den Grund haben, dass sehr viele wichtige Informationen auf Deiner Webseite veröffentlicht wurden.
Mehr dazu folgt im nächsten Abschnitt.
Aus dieser Crawling- Frequenz kann beispielsweise abgeleitet werden, dass Mitte April viele neue Beiträge hochgeladen wurden und somit viele nützliche Informationen, da der Graph zu diesem Zeitpunkt rasant angestiegen ist.
Möglichkeiten der Beeinflussung
Eine Vielzahl von Faktoren können das Crawl Budget beeinflussen:
- Logische und sprechende URLs, welche Hinweise auf relevante Inhalte geben, sodass Suchmaschinen genauere Informationen über die Seite erhalten.
- Qualitativ hochwertige Inhalte nach dem Motto „Content is King“, denn auch in Bezug auf das Google Panda Update sollte dem User immer ein bestmögliches Nutzererlebnis bereitet werden, dies ist Google wichtig
- Eine klare Architektur der Seite, wozu unter anderem eine logische URL-Struktur gehört und außerdem möglichst kurze URLs, sodass hier abzuwägen ist wie tief die Verzeichnisstruktur wirklich sein sollte. Achte somit auch auf die Länge der Klickpfade.
- Die Ladegeschwindigkeit einer Seite, wobei unter anderem auch auf die Größe der Bilder geachtet werden sollte. Mehr dazu findest Du hier.
- Zudem wird gesagt, dass die Höhe des PageRanks (interner PR gemeint) die Höhe des Crawling Budgets beeinflusst. Somit wird eine Seite mit vielen eingehenden Links, unabhängig ob von intern oder extern, höher bewertet, sodass somit auch die Wahrscheinlichkeit steigt, dass die Seite gecrawlt und indexiert wird.
Hilfen, die man Google geben kann
- Welche Seiten sollen indexiert werden und welche nicht. Dies kann beispielsweise durch die robots.txt erfolgen, indem unterschiedliche Seiten ausgeschlossen werden, sodass Google keine Zeit mit diesen verschwendet und die wichtigen Seiten crawlt
- Auch das hreflang Attribut, welches in einem der letzten Beiträge erläutert wurde, kann helfen, denn es macht deutlich welche Webseite in welcher Region/Land und in welcher Sprache in den Google Suchergebnissen angezeigt werden sollen
- XML-Sitemap, damit kannst du Google auf all Deine wichtigen Seiten leiten. Denn hiermit werden alle URLs übermittelt und zeigt, welche Seiten relevant sind und indexiert werden sollen. Dieser Sitemap kann auch hinzugefügt werden, wie oft diese aktualisiert wird.
- Ebenfalls kann man Google in der Search Console auf neu aktualisierte Webseiten hinweisen. Hat Google erst einmal einen gewissen Crawl-Turnus, kann es je nachdem auch schon mal etwas längere Zeit dauern bis Google die neuen Inhalte sieht.
Bedeutung für Suchmaschinenoptimierung
Es ist kein gutes Zeichen, wenn Deine Seiten von Google nicht häufig gecrawlt werden, denn so wird diese auch nicht indexiert, was wiederum heißt, dass sie in den Google Suchergebnissen nicht auftaucht. Also achte bestmöglich auf die oben genannten Faktoren, dann erhöhst Du Deine Chance, dass der Crawler deine wichtigen Seiten erfasst.
Ein letzter Tipp
Durch das Aktualisieren von alten Beiträgen zeigst du Google, dass Deine Webseite aktuell ist, was Google natürlich ganz besonders mag. Nur als Tipp: Neben zusätzlichem Content könnte man auch das Datum des Artikels ein wenig verändern und Google so mehrere Gründe liefern, doch vielleicht wieder öfter auf der eigenen Seite vorbeizuschauen.
Fazit
Durch eine optimale Steuerung des Crawl-Budgets der eigenen Webseite, kann eine Optimierung der Indexierung erfolgen und somit langfristig eine Verbesserung der Rankings erfolgen. Dadurch wird der Traffic gesteigert was letztendlich zu einer höheren CTR führen wird. Es ist somit ein unterschätztes Potential, dass auf jeden Fall beachtet werden sollte. Nur URLs die regelmäßig gecrawlt werden, bleiben auch dauerhaft im Index.
