KI-Crawler
Ein KI-Crawler ist ein Bot, der Websites im Auftrag eines KI-Unternehmens besucht, entweder um Inhalte für das Training von Sprachmodellen zu sammeln oder um Seiten in Echtzeit abzurufen, damit ein KI-Assistent eine Frage beantworten kann.
KI-Crawler sind automatisierte Programme, die Webseiten für KI-Systeme lesen. Sie funktionieren ähnlich wie Suchmaschinen-Crawler wie der Googlebot, doch die gesammelten Inhalte landen statt in einem klassischen Suchindex (oder zusätzlich dazu) in Sprachmodellen oder KI-Antworten.
Arten von KI-Crawlern
Es hilft, drei Arten zu unterscheiden, weil sie unterschiedliche Auswirkungen auf Ihre Website haben:
- Trainings-Crawler sammeln Inhalte, um künftige Modelle zu trainieren. Beispiele sind GPTBot (OpenAI), ClaudeBot (Anthropic) und CCBot (Common Crawl, dessen Archiv häufig für das Training genutzt wird).
- Such-Crawler bauen einen Index auf oder aktualisieren ihn, mit dem KI-Assistenten Quellen finden und zitieren. Beispiele sind OAI-SearchBot für ChatGPT Search und PerplexityBot für Perplexity.
- Vom Nutzer ausgelöste Abrufe rufen eine bestimmte Seite auf, weil ein Nutzer den Assistenten gebeten hat, sie zu lesen, oder weil der Assistent sie im Gespräch braucht. Beispiele sind ChatGPT-User und Perplexity-User.
Google ist ein Sonderfall. AI Overviews und AI Mode nutzen den regulären Googlebot-Index, daher können Sie sie nicht blockieren, ohne aus der Google-Suche zu verschwinden. Das separate Google-Extended Token in der robots.txt steuert nur, ob Ihre Inhalte für das Training von Gemini-Modellen und für Grounding außerhalb der Suche genutzt werden dürfen.
So steuern Sie KI-Crawler
Die meisten KI-Unternehmen respektieren die robots.txt. Sie können jeden Bot über seinen User-Agent-Namen zulassen oder blockieren. Viele Websites lassen Such-Bots und vom Nutzer ausgelöste Bots zu, weil diese zu Quellenangaben und Besuchen führen, und entscheiden bei Trainings-Bots von Fall zu Fall. Prüfen Sie auch Ihr CDN oder Ihre Firewall: Manche Sicherheitseinstellungen blockieren KI-Bots standardmäßig, ohne dass der Websitebetreiber davon weiß.
Server-Logs zeigen, welche Bots wie oft kommen und welche Seiten sie abrufen. Das ist der zuverlässigste Weg, um zu sehen, ob KI-Crawler Ihre Inhalte tatsächlich erreichen.
Warum es wichtig ist
Wenn KI-Crawler nicht auf Ihre Seiten zugreifen können, können KI-Assistenten sie auch nicht zitieren. Viele KI-Crawler führen JavaScript zudem nicht so aus wie der Googlebot, sodass Inhalte, die erst nach dem Ausführen von Skripten erscheinen, für sie unsichtbar sein können.
Praktische Tipps
- Überprüfen Sie robots.txt und die Bot-Einstellungen Ihres CDN mindestens einmal im Jahr, da regelmäßig neue Bots auftauchen.
- Liefern Sie wichtige Inhalte im initialen HTML aus, nicht nur über clientseitiges JavaScript.
- Achten Sie auf gefälschte Bots, die sich als KI-Crawler ausgeben. Prüfen Sie sie anhand der IP-Bereiche, die die Anbieter veröffentlichen.
Häufige Fehler
Alle KI-Bots mit einer einzigen Regel blockieren und sich dann wundern, warum die Website nie in ChatGPT oder Perplexity erscheint, oder annehmen, dass das Blockieren eines Trainings-Bots Inhalte aus bereits trainierten Modellen entfernt.
Fragen zum KI-Crawler
Sollte ich KI-Crawler blockieren?
Das hängt von Ihren Zielen ab. Wenn Sie Such-Bots und vom Nutzer ausgelöste Bots blockieren, können KI-Assistenten Sie nicht mehr zitieren, während das Blockieren von Trainings-Bots nur das künftige Modelltraining betrifft.
Wie blockiere ich GPTBot?
Fügen Sie in der robots.txt eine Regel mit User-agent: GPTBot und danach Disallow: / ein. Damit nutzt OpenAI Ihre Seiten nicht mehr für das Training, OAI-SearchBot bleibt davon aber unberührt.
Kann ich Google AI Overviews blockieren?
Nicht separat. AI Overviews nutzen den normalen Googlebot-Index. Google-Extended steuert nur die Nutzung Ihrer Inhalte für das Gemini-Training und für Grounding außerhalb der Suche.