robots.txt: Was sie kann, was sie nicht kann und was regelmässig schiefgeht

Die robots.txt ist eine Textdatei im Wurzelverzeichnis, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen. Sie ist das älteste und meistmissverstandene Werkzeug der technischen Suchmaschinenoptimierung.

Der zentrale Unterschied

Die robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte URL wird nicht abgerufen – sie kann aber trotzdem im Index landen, wenn andere Seiten darauf verlinken. Google zeigt sie dann ohne Beschreibung an, weil der Inhalt unbekannt ist.

Daraus folgt die wichtigste Regel: Wer eine Seite zuverlässig aus dem Index halten will, darf sie nicht per robots.txt sperren. Sie muss abrufbar bleiben und ein noindex tragen – denn eine gesperrte Seite kann Google nicht abrufen und das noindex darin nicht lesen.

Aufbau

User-agent: *
Disallow: /intern/
Disallow: /*?sort=
Allow: /intern/oeffentlich/

Sitemap: https://example.ch/sitemap.xml

Regeln gelten für den jeweils benannten User-Agent, wobei der spezifischste Block gewinnt. Bei widersprüchlichen Regeln setzt sich die längere, genauere durch.

Was sinnvoll gesperrt wird

• Administrationsbereiche und Anmeldeseiten
• Interne Suchergebnisseiten
• Warenkorb- und Bestellprozesse
• Endlos kombinierbare Filterparameter
• Testumgebungen unter eigener Adresse

Was nicht gesperrt werden darf

• CSS- und JavaScript-Dateien – Google braucht sie zum Rendern
• Bilder, die in der Bildersuche erscheinen sollen
• Seiten, die per noindex ausgeschlossen werden sollen
• Die Sitemap selbst

Die Sperrung von Stylesheets und Skripten war früher verbreitet und richtet heute erheblichen Schaden an: Google sieht die Seite dann in einem unfertigen Zustand und beurteilt sie entsprechend.

Keine Zugriffskontrolle

Die robots.txt ist öffentlich einsehbar und nicht bindend. Wer dort einen Pfad sperrt, macht ihn im Zweifel erst bekannt. Vertrauliche Bereiche gehören hinter eine Authentifizierung, nicht in eine Disallow-Zeile.

Nach einem Relaunch prüfen

Der klassische Unfall: Die Testumgebung enthält ein pauschales Disallow: /, das beim Livegang mitgezogen wird. Die Folge ist ein vollständiger Sichtbarkeitsverlust innerhalb weniger Tage. Eine Kontrolle der robots.txt gehört deshalb in jede Abnahmeliste vor dem Livegang – und noch einmal am Tag danach.