robots.txt

robots.txt is een platte-tekstbestand in de root van een website dat crawlers vertelt welke paden ze wel of niet mogen ophalen. Het regelt het crawlen, niet het indexeren, en het is ook de plek waar je specifieke AI-crawlers toestaat of blokkeert.

De robots.txt bestand staat in de root van een host, bijvoorbeeld example.com/robots.txt. Voordat ze gaan crawlen, lezen nette bots het om te zien welke delen van de site ze mogen opvragen. Het volgt het Robots Exclusion Protocol, dat in 2022 officieel is vastgelegd als internetstandaard.

Een bestand bestaat uit groepen. Elke groep begint met een User-agent-regel die een crawler noemt (of * voor alle crawlers), gevolgd door Allow- en Disallow-regels. Je kunt ook een of meer Sitemap-regels toevoegen die naar je XML-sitemaps wijzen. Een groep met User-agent: * en Disallow: /search/ vertelt alle bots bijvoorbeeld dat ze uit de interne zoekresultaten moeten blijven.

Wat robots.txt niet doet:

  • Het zorgt er niet voor dat pagina's uit de index verdwijnen. Een geblokkeerde URL kan nog steeds worden geïndexeerd (meestal zonder beschrijving) als andere sites ernaar linken.
  • Het verbergt geen content. Het bestand is openbaar, dus gebruik het nooit om privémappen te "verbergen".
  • Google ondersteunt geen noindex in robots.txt en negeert de crawl-delay-instructie.
  • Het is een verzoek, geen slot. Kwaadwillende bots negeren het gewoon.

Wil je een pagina uit Google halen, laat hem dan crawlen en voeg een noindex-tag toe. Blokkeer je hem tegelijk in robots.txt, dan ziet Google de noindex nooit.

robots.txt en AI-crawlers. Sinds 2023 is dit bestand de belangrijkste plek om te bepalen hoe AI-bedrijven je content mogen gebruiken. De meeste grote AI-aanbieders publiceren aparte user agents voor training en voor live ophalen. Google-Extended is bijvoorbeeld een token waarmee je bepaalt of je content wordt gebruikt voor Gemini-modellen, zonder dat het invloed heeft op Google Zoeken. Een trainingscrawler blokkeren en een zoek- of ophaalcrawler toestaan is een veelgekozen middenweg voor sites die als bron in AI-antwoorden willen verschijnen zonder hun content aan training af te staan. Check de documentatie van elke aanbieder, want namen en gedrag veranderen.

Veelgemaakte fouten:

  • Een achtergebleven Disallow: / van een stagingsite die de hele live site blokkeert.
  • CSS- en JavaScript-bestanden blokkeren, waardoor Google de pagina niet goed kan renderen.
  • Een URL blokkeren die een noindex of canonical heeft die Google moet zien.
  • Vergeten dat elk subdomein en protocol een eigen robots.txt nodig heeft.
  • Te brede regels, omdat paden als voorvoegsel worden gematcht: Disallow: /blog blokkeert ook /blog-archive.

Google leest tot 500 KiB van het bestand en slaat het tot een dag in de cache op. Gebruik het robots.txt-rapport in Google Search Console om te zien welke versie Google heeft opgehaald en of het fouten heeft gevonden.

Vragen over robots.txt

Verdwijnt een pagina uit Google als je hem in robots.txt blokkeert?

Nee. Het stopt alleen het crawlen. Wil je een pagina uit de index halen, sta dan crawlen toe en voeg een noindex-tag toe, of gebruik de tool Verwijderingen om hem tijdelijk te verbergen.

Hoe blokkeer ik AI-crawlers met robots.txt?

Voeg voor elke AI-bot die je wilt blokkeren een User-agent-groep toe met Disallow: /. Gebruik de gedocumenteerde naam van de user agent van elke aanbieder, en onthoud dat bots voor training en voor zoeken vaak verschillende namen hebben.

Waar moet robots.txt staan?

In de root van elke host, bijvoorbeeld https://www.example.com/robots.txt. Een bestand in een submap wordt genegeerd, en elk subdomein heeft een eigen bestand nodig.

Gerelateerde begrippen