Crawlen
Crawlen is het proces waarbij bots van zoekmachines en AI webpagina’s ontdekken en downloaden door links en sitemaps te volgen. Een pagina die nooit wordt gecrawld, kan niet worden geïndexeerd, niet ranken en niet als bron in AI-antwoorden worden gebruikt.
Crawlen is de eerste stap in hoe een zoekmachine je site ziet. Een bot zoals Googlebot vraagt een URL op, downloadt de HTML en de bestanden die nodig zijn, haalt de links van die pagina eruit en zet nieuwe URL’s in een wachtrij voor later bezoek. Alles wat daarna komt, van indexeren tot ranken tot geciteerd worden in een AI-antwoord, hangt ervan af dat deze stap werkt.
Crawlers vinden URL’s op een paar manieren:
- Links vanaf pagina’s die ze al kennen, zowel interne links als backlinks van andere sites.
- XML-sitemaps die je indient in Google Search Console of waarnaar je verwijst in robots.txt.
- Redirects en canonical tags die naar andere URL’s wijzen.
Voordat een nette crawler een URL ophaalt, controleert hij in robots.txt of dat mag. Google bepaalt daarna hoe vaak het terugkomt, op basis van hoe belangrijk en actueel een pagina lijkt en hoe snel je server reageert. Pagina’s die vaak veranderen en veel links krijgen, worden meestal vaker opnieuw bezocht.
Crawlen en AI. Zoekmachines zijn niet meer de enige bezoekers. AI-bedrijven hebben hun eigen bots: sommige verzamelen trainingsdata, andere halen realtime pagina’s op om de vraag van een gebruiker te beantwoorden. Veel van die bots voeren geen JavaScript uit, dus content die pas na het draaien van scripts verschijnt, kan voor hen onzichtbaar zijn. Wil je geciteerd worden in AI-antwoorden, zorg dan dat je belangrijke content in de eerste HTML staat en dat je de relevante user agents niet per ongeluk blokkeert.
Zo controleer je het crawlen. Het rapport Crawlstatistieken in Google Search Console laat zien hoeveel verzoeken Googlebot per dag doet, welke responscodes het krijgt en wat de gemiddelde reactietijd is. Je serverlogs geven het eerlijkste beeld, omdat ze elk botverzoek tonen, ook die van AI-crawlers. De URL-inspectietool vertelt wanneer Google een specifieke pagina voor het laatst heeft gecrawld.
Veelvoorkomende problemen:
- Belangrijke pagina’s waar geen interne links naartoe wijzen (orphan pages).
- Trage servers of veel 5xx-fouten, waardoor Google minder crawlt.
- Eindeloze URL-varianten door filters, sortering en sessie-ID’s, die de aandacht van crawlers verspillen.
- Links die zijn gebouwd met JavaScript-klikhandlers in plaats van echte anchor-elementen met een href.
- Een regel in robots.txt die een hele map blokkeert die je juist gevonden wilt hebben.
Een gecrawlde pagina wordt niet automatisch geïndexeerd. Google kan een pagina ophalen en toch besluiten hem niet op te slaan, bijvoorbeeld als hij op een duplicaat lijkt of weinig toevoegt. Crawlen is toegang; indexeren is een aparte beslissing over kwaliteit.
Vragen over crawlen
Wat is het verschil tussen crawlen en indexeren?
Crawlen is een pagina ophalen; indexeren is hem opslaan en begrijpen, zodat hij in de resultaten kan verschijnen. Een pagina kan gecrawld zijn en toch niet geïndexeerd worden als Google hem als duplicaat of weinig waardevol beoordeelt.
Hoe zorg ik dat Google mijn pagina sneller crawlt?
Link ernaar vanaf sterke interne pagina’s, neem hem op in je XML-sitemap en vraag indexering aan via de URL-inspectietool in Google Search Console. Een snelle, stabiele server helpt Google ook om meer te crawlen.
Crawlen AI-bots websites op dezelfde manier als Googlebot?
Niet helemaal. Veel AI-crawlers halen alleen de kale HTML op zonder JavaScript te renderen, en ze volgen hun eigen user agents in robots.txt, dus je moet de toegang voor elke bot apart controleren.