robots.txt

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche Pfade sie abrufen dürfen und welche nicht. Sie steuert das Crawling, nicht die Indexierung, und ist auch der Ort, an dem Sie bestimmte KI-Crawler zulassen oder blockieren.

Die robots.txt -Datei liegt im Stammverzeichnis eines Hosts, zum Beispiel example.com/robots.txt. Vor dem Crawlen lesen gut erzogene Bots sie, um zu sehen, welche Teile der Website sie abrufen dürfen. Sie folgt dem Robots Exclusion Protocol, das 2022 als Internetstandard formalisiert wurde.

Eine Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer User-agent-Zeile, die einen Crawler benennt (oder * für alle), gefolgt von Allow- und Disallow-Regeln. Sie können außerdem eine oder mehrere Sitemap-Zeilen hinzufügen, die auf Ihre XML-Sitemaps verweisen. Eine Gruppe mit User-agent: * und Disallow: /search/ weist zum Beispiel alle Bots an, interne Suchergebnisse auszulassen.

Was die robots.txt nicht tut:

  • Sie sorgt nicht dafür, dass Seiten aus dem Index verschwinden. Eine blockierte URL kann trotzdem indexiert werden (meist ohne Beschreibung), wenn andere Websites auf sie verlinken.
  • Sie versteckt keine Inhalte. Die Datei ist öffentlich, nutzen Sie sie also nie, um private Verzeichnisse zu „verstecken“.
  • Google unterstützt kein noindex innerhalb der robots.txt und ignoriert die Anweisung crawl-delay.
  • Sie ist eine Bitte, kein Schloss. Schädliche Bots ignorieren sie einfach.

Wenn Sie eine Seite aus Google heraushaben wollen, lassen Sie sie crawlen und setzen Sie einen noindex-Tag. Blockieren Sie sie gleichzeitig in der robots.txt, sieht Google das noindex nie.

robots.txt und KI-Crawler. Seit 2023 ist diese Datei der wichtigste Ort, um festzulegen, wie KI-Unternehmen Ihre Inhalte nutzen dürfen. Die meisten großen KI-Anbieter veröffentlichen separate User Agents für Training und Live-Abruf. Google-Extended ist zum Beispiel ein Token, das steuert, ob Ihre Inhalte für Gemini-Modelle genutzt werden, ohne die Google-Suche zu beeinflussen. Einen Trainings-Crawler zu blockieren und einen Such- oder Abruf-Crawler zuzulassen, ist ein gängiger Mittelweg für Websites, die in KI-Antworten als Quelle erscheinen wollen, ohne Inhalte für das Training herzugeben. Prüfen Sie die Dokumentation jedes Anbieters, denn Namen und Verhalten ändern sich.

Häufige Fehler:

  • Ein übrig gebliebenes Disallow: / von einer Staging-Website, das die gesamte Live-Website blockiert.
  • CSS- und JavaScript-Dateien blockieren, wodurch Google die Seite nicht richtig rendern kann.
  • Eine URL blockieren, die ein noindex oder ein Canonical trägt, das Google sehen soll.
  • Vergessen, dass jede Subdomain und jedes Protokoll eine eigene robots.txt braucht.
  • Zu weit gefasste Regeln, denn Pfade werden als Präfix abgeglichen: Disallow: /blog blockiert auch /blog-archive.

Google liest bis zu 500 KiB der Datei und speichert sie bis zu einen Tag im Cache. Im robots.txt-Bericht der Google Search Console sehen Sie, welche Version Google abgerufen hat und ob Fehler gefunden wurden.

Fragen zur robots.txt

Entfernt das Blockieren einer Seite in der robots.txt sie aus Google?

Nein. Sie verhindert nur das Crawling. Um eine Seite aus dem Index zu entfernen, erlauben Sie das Crawling und setzen einen noindex-Tag, oder nutzen Sie das Tool zum Entfernen von URLs, um sie vorübergehend auszublenden.

Wie blockiere ich KI-Crawler mit der robots.txt?

Legen Sie für jeden KI-Bot, den Sie blockieren wollen, eine User-agent-Gruppe mit Disallow: / an. Verwenden Sie den dokumentierten User-Agent-Namen des jeweiligen Anbieters und denken Sie daran, dass Trainings- und Such-Bots oft unterschiedliche Namen haben.

Wo sollte die robots.txt liegen?

Im Stammverzeichnis jedes Hosts, zum Beispiel https://www.example.com/robots.txt. Eine Datei in einem Unterordner wird ignoriert, und jede Subdomain braucht eine eigene.

Verwandte Begriffe