AI-crawler
Een AI-crawler is een bot die websites bezoekt namens een AI-bedrijf, om content te verzamelen voor het trainen van taalmodellen of om realtime pagina’s op te halen zodat een AI-assistent een vraag kan beantwoorden.
AI-crawlers zijn geautomatiseerde programma’s die webpagina’s lezen voor AI-systemen. Ze werken grotendeels zoals crawlers van zoekmachines, zoals Googlebot, maar de content die ze verzamelen komt terecht in taalmodellen of AI-antwoorden, in plaats van of naast een klassieke zoekindex.
Soorten AI-crawlers
Het helpt om drie soorten te onderscheiden, omdat ze een ander effect op je site hebben:
- Trainingscrawlers verzamelen content om toekomstige modellen te trainen. Voorbeelden zijn GPTBot (OpenAI), ClaudeBot (Anthropic) en CCBot (Common Crawl, waarvan het archief veel voor training wordt gebruikt).
- Zoekcrawlers bouwen of vernieuwen een index die AI-assistenten gebruiken om bronnen te vinden en te citeren. Voorbeelden zijn OAI-SearchBot voor ChatGPT search en PerplexityBot voor Perplexity.
- Fetchers op verzoek van gebruikers bezoeken een specifieke pagina omdat een gebruiker de assistent vroeg die te lezen, of omdat de assistent hem nodig heeft tijdens een gesprek. Voorbeelden zijn ChatGPT-User en Perplexity-User.
Google is een apart geval. AI Overviews en AI Mode gebruiken de gewone index van Googlebot, dus je kunt ze niet blokkeren zonder uit Google Zoeken te verdwijnen. De aparte Google-Extended token in robots.txt bepaalt alleen of je content mag worden gebruikt voor het trainen van Gemini-modellen en voor grounding buiten Zoeken.
Zo beheer je AI-crawlers
De meeste AI-bedrijven respecteren robots.txt. Je kunt elke bot toestaan of blokkeren op basis van de naam van zijn user agent. Veel sites laten zoekbots en bots op verzoek van gebruikers toe, omdat die tot citaties en bezoeken leiden, en beslissen per geval over trainingsbots. Controleer ook je CDN of firewall: sommige beveiligingsinstellingen blokkeren AI-bots standaard zonder dat de site-eigenaar het weet.
Serverlogs laten zien welke bots langskomen, hoe vaak en welke pagina’s ze opvragen. Dat is de betrouwbaarste manier om te zien of AI-crawlers je content echt kunnen bereiken.
Waarom het ertoe doet
Als AI-crawlers je pagina’s niet kunnen bereiken, kunnen AI-assistenten ze ook niet citeren. Veel AI-crawlers voeren JavaScript bovendien niet uit zoals Googlebot dat doet, dus content die pas verschijnt nadat scripts zijn uitgevoerd, kan voor hen onzichtbaar zijn.
Praktische tips
- Controleer robots.txt en de botinstellingen van je CDN minstens één keer per jaar, want er komen regelmatig nieuwe bots bij.
- Lever belangrijke content in de eerste HTML, niet alleen via client-side JavaScript.
- Let op nep-bots die de namen van AI-crawlers gebruiken. Controleer ze aan de hand van de IP-ranges die de aanbieders publiceren.
Veelgemaakte fouten
Alle AI-bots met één regel blokkeren en je dan afvragen waarom de site nooit in ChatGPT of Perplexity verschijnt, of aannemen dat het blokkeren van een trainingsbot content verwijdert uit modellen die al getraind zijn.
Vragen over AI-crawler
Moet ik AI-crawlers blokkeren?
Dat hangt af van je doelen. Als je zoekbots en bots op verzoek van gebruikers blokkeert, kunnen AI-assistenten je niet meer citeren; als je trainingsbots blokkeert, heeft dat alleen invloed op toekomstige modeltraining.
Hoe blokkeer ik GPTBot?
Voeg een regel toe aan robots.txt met User-agent: GPTBot gevolgd door Disallow: /. Daarmee voorkom je dat OpenAI je pagina’s voor training gebruikt, maar het heeft geen invloed op OAI-SearchBot.
Kan ik Google AI Overviews blokkeren?
Niet apart. AI Overviews gebruiken de normale index van Googlebot. Google-Extended bepaalt alleen het gebruik van je content voor Gemini-training en grounding buiten Zoeken.