Crawlbudget

Crawl budget is het aantal URL’s dat een zoekmachine op een site wil en kan crawlen in een bepaalde periode. Het wordt bepaald door de crawlcapaciteit van de server en door hoeveel vraag Google heeft naar de pagina’s van de site.

Crawlbudget beschrijft hoeveel aandacht Googlebot aan je site geeft. Google legt het uit als de combinatie van twee dingen:

  • Crawl capacity limit: hoeveel verzoeken Google kan doen zonder je server te overbelasten. Snelle, foutloze reacties verhogen deze limiet; trage reacties en 5xx-fouten verlagen hem.
  • Crawl demand: hoeveel Google wil crawlen. Populaire pagina’s, pagina’s die vaak veranderen en URL’s die Google nog niet kent, zorgen voor meer vraag.

Samen bepalen die hoeveel URL’s Googlebot per dag ophaalt en welke voorrang krijgen.

Voor wie het telt. Voor de meeste sites met een paar duizend pagina’s is crawl budget geen echt probleem. Google zegt zelf dat het vooral telt voor heel grote sites (denk aan honderdduizenden tot miljoenen URL’s) of sites waarvan de content heel snel verandert, zoals grote webshops, marktplaatsen, advertentiesites en nieuwsuitgevers. Als nieuwe pagina’s op een kleine site niet worden geïndexeerd, ligt de oorzaak meestal bij kwaliteit of interne links, niet bij crawl budget.

Wat crawl budget verspilt:

  • Gefacetteerde navigatie die miljoenen combinaties van filters en sorteringen maakt.
  • Sessie-ID’s, trackingparameters en kalenderpagina’s die eindeloos doorgaan.
  • Lange redirect chains en veel kapotte interne links.
  • Dubbele versies van dezelfde pagina (http en https, met en zonder slash aan het eind, varianten met hoofdletters).
  • Soft 404’s en pagina’s met weinig waarde die steeds opnieuw worden gecrawld.

Zo verbeter je het:

  1. Blokkeer echt nutteloze URL-patronen in robots.txt, zoals interne zoekresultaten of eindeloze filtercombinaties.
  2. Link intern naar de canonieke URL, nooit naar versies met parameters.
  3. Los redirect chains op en laat interne links direct naar de uiteindelijke URL wijzen.
  4. Zet in XML-sitemaps alleen indexeerbare pagina’s en gebruik kloppende lastmod-datums.
  5. Verbeter de reactietijden van je server en houd het aantal fouten laag.
  6. Geef een 404 of 410 terug voor pagina’s die echt weg zijn, zodat Google ze niet meer blijft bezoeken.

Let op: noindex bespaart geen crawl budget. Google moet een pagina crawlen om de noindex-tag te zien. Canonical tags houden crawlen ook niet tegen. Alleen robots.txt voorkomt dat de pagina wordt opgehaald.

Monitoren. Het rapport Crawlstatistieken in Google Search Console toont het totale aantal verzoeken, responscodes, bestandstypen en het doel van elke crawl (ontdekken of vernieuwen). Serverlogs geven het volledige beeld en laten ook zien hoeveel AI-crawlers van je server opvragen, en dat kan op grote sites behoorlijk oplopen.

Vragen over crawl budget

Doet crawl budget ertoe voor kleine websites?

Zelden. Bij sites met een paar duizend URL’s kan Google meestal alles crawlen; indexeringsproblemen gaan daar bijna altijd over contentkwaliteit of interne links.

Bespaart noindex crawl budget?

Nee. Google moet de pagina crawlen om de noindex-tag te lezen. Alleen de URL blokkeren in robots.txt voorkomt dat hij wordt opgehaald.

Hoe kan ik mijn crawl budget zien?

Open in Google Search Console Instellingen en dan Crawlstatistieken om dagelijkse crawlverzoeken, responscodes en reactietijden te zien. Logbestanden van je server geven een vollediger beeld.

Gerelateerde begrippen