Crawl-Budget: Wann es überhaupt eine Rolle spielt

Crawl-Budget beschreibt, wie viele URLs Google auf einer Website in einem bestimmten Zeitraum abruft. Für die meisten KMU-Websites ist das kein Thema. Für Shops, grosse Portale und Websites mit unkontrollierter Parametervielfalt wird es schnell zum entscheidenden Engpass.

Wovon das Budget abhängt

Google setzt es aus zwei Grössen zusammen. Die eine ist die Belastbarkeit Ihres Servers: Antwortet er langsam oder mit Fehlern, drosselt Google die Abrufrate. Die andere ist der wahrgenommene Wert: Websites, deren Inhalte sich häufig ändern und die Nachfrage bedienen, werden intensiver abgerufen.

Beides lässt sich beeinflussen – die Serverleistung direkt, der wahrgenommene Wert indirekt über Qualität und Aktualität.

Wann es relevant wird

• Ab etwa zehntausend URLs beginnt es messbar zu werden
• Bei Shops mit Facettennavigation praktisch immer, unabhängig von der Produktzahl
• Bei Websites mit Kalender-, Filter- oder Sortierparametern
• Nach einer Migration, wenn alte und neue URLs parallel existieren
• Bei langsamen Servern, weil die Abrufrate gedrosselt wird

Für eine Unternehmenswebsite mit zweihundert Seiten ist Crawl-Budget dagegen kein Thema. Wenn dort Seiten nicht indexiert werden, liegt es fast nie am Budget, sondern an der Bewertung des Inhalts.

Wie man es prüft

Der Bericht «Crawling-Statistiken» in der Search Console zeigt Abrufanzahl, Antwortzeiten und die Verteilung nach Dateityp und Zweck. Interessant ist vor allem das Verhältnis: Wie viele Abrufe entfallen auf Seiten, die tatsächlich ranken sollen, und wie viele auf Parameter, Bilder und Weiterleitungen?

Aussagekräftiger ist die Logfile-Analyse. Sie zeigt, welche URLs der Googlebot tatsächlich abgerufen hat – inklusive der Bereiche, von denen niemand im Unternehmen wusste, dass sie überhaupt erreichbar sind.

Was tatsächlich hilft

Massnahme	Wirkung
Filterkombinationen von der Indexierung ausschliessen	Hoch – oft der grösste Einzelposten
Weiterleitungsketten auflösen	Mittel bis hoch, besonders nach Migrationen
Serverantwortzeit senken	Hoch – die Abrufrate steigt unmittelbar
Interne Verlinkung auf wichtige Seiten konzentrieren	Mittel
Fehlerhafte URLs bereinigen	Mittel
Sitemap auf indexierbare URLs beschränken	Gering bis mittel

Der häufigste Irrtum

Viele versuchen, Crawl-Budget über die robots.txt zu steuern, und sperren dabei Bereiche, die eigentlich in den Index sollen. Eine Sperrung verhindert den Abruf – Google weiss dann nicht, ob dort etwas Wertvolles liegt, und behält die URL unter Umständen trotzdem im Index, nur ohne Inhalt.

Der saubere Weg unterscheidet: robots.txt für Bereiche, die Google gar nicht anfassen soll, noindex für Seiten, die abrufbar bleiben, aber nicht ranken sollen, und Kanonisierung für Varianten derselben Seite.