In den Crawling Informationen erhältst du Einblick in die letzten durchgeführten Onpage Crawlings.
Jeder durchgeführte OnPage Crawl wird in PageRangers protokolliert. Der grüne Haken zeigt dir, das der Crawl erfolgreich abgeschlossen ist. Außerdem halten wir den Start- und Endzeitpunkt fest. Ebenfalls die Anzahl der gefundenen URLs und die Anzahl der gecrawlten URLs. Wenn du dein Crawling Limit überschreitest, bricht der Crawler nach Erreichen des Limits den Crawl ab.
Ein neues Crawling anstoßen
Der voreingestellte Crawling Intervall ist wöchentlich. In den Crawling Einstellungen kannst du den Intervall (bspw. immer Sonntag um 10:00 Uhr) einstellen. Wenn du außerhalb des wöchentlichen Crawlings einen Durchgang anstoßen möchtest, findest du rechts im Menü den Punkt “Neues Crawling starten”.
In den Voreinstellungen arbeiten wir mit 2 gleichzeitigen Requests. Erfahrungsgemäß ist die Voreinstellung sinnvoll, da nicht alle Server mit einer höheren Anzahl gleichzeitiger Abfragen umgehen können bzw. den Crawlvorgang abblocken. Um das Crawl Budget zu schonen bzw. um URLs vom Crawling auszuschließen, wechsele bitte in die “weiteren Einstellungen”.
Hinweis:
Wenn ein Crawl ungewöhnlich lange dauert, kann es sein, dass dein Projekt sich in der Warteschlange befindet. Bei einer durchschnittlichen Unternehmenswebseite mit Blog dauert ein Crawl in der Regel unterhalb einer Stunde. Ob sich dein Projekt in der Warteschlange befindet, wird dir auch im Onpage Dashboard angezeigt. Folgende Screenshots zur Verdeutlichung:
Crawler in der Warteschlange:
Crawler ist direkt gestartet:
