Crawler AI

Crawler AI to bot, który odwiedza strony w imieniu firmy AI, aby zbierać treści do trenowania modeli językowych albo pobierać strony w czasie rzeczywistym, żeby asystent AI mógł odpowiedzieć na pytanie.

Crawlery AI to zautomatyzowane programy, które czytają strony dla systemów AI. Działają podobnie jak crawlery wyszukiwarek, np. Googlebot, ale zebrane treści trafiają do modeli językowych lub odpowiedzi AI zamiast klasycznego indeksu wyszukiwania albo obok niego.

Rodzaje crawlerów AI

Warto rozróżnić trzy rodzaje, bo mają różny wpływ na Twoją stronę:

  • Crawlery treningowe zbierają treści do trenowania przyszłych modeli. Przykłady to GPTBot (OpenAI), ClaudeBot (Anthropic) i CCBot (Common Crawl, którego archiwum jest szeroko wykorzystywane do trenowania).
  • Crawlery wyszukiwania budują lub odświeżają indeks, z którego asystenci AI korzystają, by znajdować i cytować źródła. Przykłady to OAI-SearchBot dla wyszukiwania w ChatGPT i PerplexityBot dla Perplexity.
  • Pobieranie na żądanie użytkownika odwiedzają konkretną stronę, bo użytkownik poprosił asystenta o jej przeczytanie albo asystent potrzebuje jej w trakcie rozmowy. Przykłady to ChatGPT-User i Perplexity-User.

Google to szczególny przypadek. AI Overviews i AI Mode korzystają ze zwykłego indeksu Googlebota, więc nie da się ich zablokować bez wypadnięcia z wyszukiwarki Google. Osobny token Google-Extended w robots.txt kontroluje wyłącznie to, czy Twoje treści mogą być używane do trenowania modeli Gemini i groundingu poza wyszukiwarką.

Jak zarządzać crawlerami AI

Większość firm AI respektuje robots.txt. Każdego bota możesz dopuścić lub zablokować po nazwie user agenta. Wiele stron dopuszcza boty wyszukiwania i boty uruchamiane przez użytkowników, bo prowadzą do cytowań i wizyt, a o botach treningowych decyduje indywidualnie. Sprawdź też CDN lub firewall: niektóre ustawienia bezpieczeństwa domyślnie blokują boty AI, a właściciel strony o tym nie wie.

Logi serwera pokazują, które boty odwiedzają stronę, jak często i o jakie podstrony proszą. To najbardziej wiarygodny sposób, by sprawdzić, czy crawlery AI faktycznie docierają do Twoich treści.

Dlaczego to ważne

Jeśli crawlery AI nie mają dostępu do Twoich stron, asystenci AI nie mogą ich cytować. Wiele crawlerów AI nie wykonuje też JavaScriptu tak jak Googlebot, więc treści pojawiające się dopiero po uruchomieniu skryptów mogą być dla nich niewidoczne.

Praktyczne wskazówki

  • Przeglądaj robots.txt i ustawienia botów w CDN co najmniej raz w roku, bo regularnie pojawiają się nowe boty.
  • Serwuj ważne treści w początkowym HTML, a nie tylko przez JavaScript po stronie klienta.
  • Uważaj na fałszywe boty podszywające się pod crawlery AI. Weryfikuj je po zakresach IP publikowanych przez dostawców.

Częste błędy

Blokowanie wszystkich botów AI jedną regułą, a potem zdziwienie, że strona nigdy nie pojawia się w ChatGPT ani w Perplexity, albo założenie, że zablokowanie bota treningowego usuwa treści z modeli, które już zostały wytrenowane.

Pytania o crawler AI

Czy blokować crawlery AI?

To zależy od Twoich celów. Blokowanie botów wyszukiwania i botów uruchamianych przez użytkowników sprawia, że asystenci AI przestają Cię cytować, a blokowanie botów treningowych wpływa tylko na przyszłe trenowanie modeli.

Jak zablokować GPTBota?

Dodaj do robots.txt regułę User-agent: GPTBot, a pod nią Disallow: /. To powstrzyma OpenAI przed używaniem Twoich stron do trenowania, ale nie wpływa na OAI-SearchBot.

Czy mogę zablokować Google AI Overviews?

Nie osobno. AI Overviews korzystają ze zwykłego indeksu Googlebota. Google-Extended kontroluje jedynie wykorzystanie Twoich treści do trenowania Gemini i groundingu poza wyszukiwarką.

Powiązane pojęcia