Crawl Budget

Eine Vielzahl von Informationen auf unzähligen Seiten werden im World Wide Web zur Verfügung gestellt. Google möchte aus diesem Angebot dem User auf seine Suchanfrage ein perfekt zugeschnittenes Suchergebnis liefern. Hierzu werden die unterschiedlichsten Webseiten vom Crawler erfasst und indexiert, um so zu den passenden Suchanfragen in den Google SERP´s zu ranken.

Als Crawling Budget bezeichnet man die Ressourcen, die Google investiert, um Deine Seite zu crawlen. Also die maximale Anzahl an Seiten die von Deiner Webseite gecrawlt werden, da auch Googles Ressourcen nicht unbegrenzt sind und somit nicht alle URLs gecrawlt werden können.

Gerade bei besonders großen Seiten, wie Online-Shops, mit einer Vielzahl von URLs ist folglich besonders wichtig, das Crawling zu steuern. Tipps und Tricks folgen im Beitrag.

Informationen über das Crawl Budget

Informationen zu dem oben beschriebenen Crawl Budget findest Du in der Google Search Console unter Crawling Statistiken, denn hier werden Informationen zur Aktivität des Googlebot auf Deiner Website in den letzten 90 Tagen aufgezeigt. Welche Seiten gecrawlt werden, wie viele Seiten und wie häufig der Google-Bot die Webseite besucht.

Hier ist zu beachten, dass nur bestätigte Webseiten diese Informationen zur Verfügung stehen.

Laut Google gibt es eine "gute" Crawling-Frequenz nicht. Doch ein relativ gleichbleibendes Diagramm, das im Laufe der Zeit höher wird, da auch der Umfang der Seite zunimmt, ist von Vorteil.

Gründe für eine sinkende Frequenz können unter anderem sein, dass eine robots.txt gesetzt wurde oder der Inhalt von Deiner Seite lange Zeit nicht aktualisiert wurde.

Wenn die Frequenz jedoch steigt, kann dies unter anderen den Grund haben, dass sehr viele wichtige Informationen auf Deiner Webseite veröffentlicht wurden.

Mehr dazu folgt im nächsten Abschnitt.

search console

Aus dieser Crawling- Frequenz kann beispielsweise abgeleitet werden, dass Mitte April viele neue Beiträge hochgeladen wurden und somit viele nützliche Informationen, da der Graph zu diesem Zeitpunkt rasant angestiegen ist.

Möglichkeiten der Beeinflussung

Eine Vielzahl von Faktoren können das Crawl Budget beeinflussen:

  • Logische und sprechende URLs, welche Hinweise auf relevante Inhalte geben, sodass Suchmaschinen genauere Informationen über die Seite erhalten.
  • Qualitativ hochwertige Inhalte nach dem Motto „Content is King“, denn auch in Bezug auf das Google Panda Update sollte dem User immer ein bestmögliches Nutzererlebnis bereitet werden, dies ist Google wichtig  
  • Eine klare Architektur der Seite, wozu unter anderem eine logische URL-Struktur gehört und außerdem möglichst kurze URLs, sodass hier abzuwägen ist wie tief die Verzeichnisstruktur wirklich sein sollte. Achte somit auch auf die Länge der Klickpfade.

Pagerangers

 

  • Die Ladegeschwindigkeit einer Seite, wobei  unter anderem auch auf die Größe der Bilder geachtet werden sollte. Mehr dazu findest Du hier.

Pagerangers

 

  • Zudem wird gesagt, dass die Höhe des PageRanks (interner PR gemeint) die Höhe des Crawling Budgets beeinflusst. Somit wird eine Seite mit vielen eingehenden Links, unabhängig ob von intern oder extern,  höher bewertet, sodass somit auch die Wahrscheinlichkeit  steigt, dass die Seite gecrawlt und indexiert wird.  

Pagerangers

Hilfen, die man Google geben kann

  • Welche Seiten sollen indexiert werden und welche nicht. Dies kann beispielsweise durch die robots.txt erfolgen, indem unterschiedliche Seiten ausgeschlossen werden, sodass Google keine Zeit mit diesen verschwendet und die wichtigen Seiten crawlt

Pagerangers

 

  • Auch das hreflang Attribut, welches in einem der letzten Beiträge erläutert wurde, kann helfen,  denn es macht deutlich welche Webseite in welcher Region/Land und in welcher Sprache in den Google Suchergebnissen angezeigt werden sollen
  • XML-Sitemap, damit kannst du Google auf all Deine wichtigen Seiten leiten. Denn hiermit werden alle URLs übermittelt und zeigt, welche Seiten relevant sind und indexiert werden sollen. Dieser Sitemap kann auch hinzugefügt werden, wie oft diese aktualisiert wird.
  • Ebenfalls kann man Google in der Search Console auf neu aktualisierte Webseiten hinweisen. Hat Google erst einmal einen gewissen Crawl-Turnus, kann es je nachdem auch schon mal etwas längere Zeit dauern bis Google die neuen Inhalte sieht.

 

Bedeutung für Suchmaschinenoptimierung

Es ist kein gutes Zeichen, wenn Deine Seiten von Google nicht häufig gecrawlt werden, denn so wird diese auch nicht indexiert, was wiederum heißt, dass sie in den Google Suchergebnissen nicht auftaucht. Also achte bestmöglich auf die oben genannten Faktoren, dann erhöhst Du Deine Chance, dass der Crawler deine wichtigen Seiten erfasst.

Ein letzter Tipp

Durch das Aktualisieren von alten Beiträgen zeigst du Google, dass Deine Webseite aktuell ist, was Google natürlich ganz besonders mag. Nur als Tipp: Neben zusätzlichem Content könnte man auch das Datum des Artikels ein wenig verändern und Google so mehrere Gründe liefern, doch vielleicht wieder öfter auf der eigenen Seite vorbeizuschauen.

Fazit

Durch eine optimale Steuerung des Crawl-Budgets der eigenen Webseite, kann eine Optimierung der Indexierung erfolgen und somit langfristig eine Verbesserung der Rankings erfolgen. Dadurch wird der Traffic gesteigert was letztendlich zu einer höheren CTR führen wird. Es ist somit ein unterschätztes Potential, dass auf jeden Fall beachtet werden sollte. Nur URLs die regelmäßig gecrawlt werden, bleiben auch dauerhaft im Index.