KI-Crawler

Ein KI-Crawler ist ein Bot, der Websites im Auftrag eines KI-Unternehmens besucht, entweder um Inhalte für das Training von Sprachmodellen zu sammeln oder um Seiten in Echtzeit abzurufen, damit ein KI-Assistent eine Frage beantworten kann.

KI-Crawler sind automatisierte Programme, die Webseiten für KI-Systeme lesen. Sie funktionieren ähnlich wie Suchmaschinen-Crawler wie der Googlebot, doch die gesammelten Inhalte landen statt in einem klassischen Suchindex (oder zusätzlich dazu) in Sprachmodellen oder KI-Antworten.

Arten von KI-Crawlern

Es hilft, drei Arten zu unterscheiden, weil sie unterschiedliche Auswirkungen auf Ihre Website haben:

  • Trainings-Crawler sammeln Inhalte, um künftige Modelle zu trainieren. Beispiele sind GPTBot (OpenAI), ClaudeBot (Anthropic) und CCBot (Common Crawl, dessen Archiv häufig für das Training genutzt wird).
  • Such-Crawler bauen einen Index auf oder aktualisieren ihn, mit dem KI-Assistenten Quellen finden und zitieren. Beispiele sind OAI-SearchBot für ChatGPT Search und PerplexityBot für Perplexity.
  • Vom Nutzer ausgelöste Abrufe rufen eine bestimmte Seite auf, weil ein Nutzer den Assistenten gebeten hat, sie zu lesen, oder weil der Assistent sie im Gespräch braucht. Beispiele sind ChatGPT-User und Perplexity-User.

Google ist ein Sonderfall. AI Overviews und AI Mode nutzen den regulären Googlebot-Index, daher können Sie sie nicht blockieren, ohne aus der Google-Suche zu verschwinden. Das separate Google-Extended Token in der robots.txt steuert nur, ob Ihre Inhalte für das Training von Gemini-Modellen und für Grounding außerhalb der Suche genutzt werden dürfen.

So steuern Sie KI-Crawler

Die meisten KI-Unternehmen respektieren die robots.txt. Sie können jeden Bot über seinen User-Agent-Namen zulassen oder blockieren. Viele Websites lassen Such-Bots und vom Nutzer ausgelöste Bots zu, weil diese zu Quellenangaben und Besuchen führen, und entscheiden bei Trainings-Bots von Fall zu Fall. Prüfen Sie auch Ihr CDN oder Ihre Firewall: Manche Sicherheitseinstellungen blockieren KI-Bots standardmäßig, ohne dass der Websitebetreiber davon weiß.

Server-Logs zeigen, welche Bots wie oft kommen und welche Seiten sie abrufen. Das ist der zuverlässigste Weg, um zu sehen, ob KI-Crawler Ihre Inhalte tatsächlich erreichen.

Warum es wichtig ist

Wenn KI-Crawler nicht auf Ihre Seiten zugreifen können, können KI-Assistenten sie auch nicht zitieren. Viele KI-Crawler führen JavaScript zudem nicht so aus wie der Googlebot, sodass Inhalte, die erst nach dem Ausführen von Skripten erscheinen, für sie unsichtbar sein können.

Praktische Tipps

  • Überprüfen Sie robots.txt und die Bot-Einstellungen Ihres CDN mindestens einmal im Jahr, da regelmäßig neue Bots auftauchen.
  • Liefern Sie wichtige Inhalte im initialen HTML aus, nicht nur über clientseitiges JavaScript.
  • Achten Sie auf gefälschte Bots, die sich als KI-Crawler ausgeben. Prüfen Sie sie anhand der IP-Bereiche, die die Anbieter veröffentlichen.

Häufige Fehler

Alle KI-Bots mit einer einzigen Regel blockieren und sich dann wundern, warum die Website nie in ChatGPT oder Perplexity erscheint, oder annehmen, dass das Blockieren eines Trainings-Bots Inhalte aus bereits trainierten Modellen entfernt.

Fragen zum KI-Crawler

Sollte ich KI-Crawler blockieren?

Das hängt von Ihren Zielen ab. Wenn Sie Such-Bots und vom Nutzer ausgelöste Bots blockieren, können KI-Assistenten Sie nicht mehr zitieren, während das Blockieren von Trainings-Bots nur das künftige Modelltraining betrifft.

Wie blockiere ich GPTBot?

Fügen Sie in der robots.txt eine Regel mit User-agent: GPTBot und danach Disallow: / ein. Damit nutzt OpenAI Ihre Seiten nicht mehr für das Training, OAI-SearchBot bleibt davon aber unberührt.

Kann ich Google AI Overviews blockieren?

Nicht separat. AI Overviews nutzen den normalen Googlebot-Index. Google-Extended steuert nur die Nutzung Ihrer Inhalte für das Gemini-Training und für Grounding außerhalb der Suche.

Verwandte Begriffe