Noindex
Noindex is een robots-instructie, ingesteld in een meta robots tag of een X-Robots-Tag HTTP-header, die zoekmachines vertelt een pagina niet in hun resultaten te tonen. De pagina moet crawlbaar blijven, anders wordt de instructie nooit gezien.
Een noindex instructie vertelt zoekmachines: je mag deze pagina bezoeken, maar neem hem niet op in je zoekresultaten. Het is de standaardmanier om pagina's buiten Google te houden die voor gebruikers moeten bestaan, maar in zoekmachines geen waarde hebben.
Je kunt het op twee manieren instellen:
- Een meta robots tag in de HTML-head, met de content-waarde noindex. Je kunt alle crawlers aanspreken met name="robots" of één specifieke crawler, zoals name="googlebot".
- Een X-Robots-Tag HTTP-header met de waarde noindex. Dat werkt ook voor bestanden die geen HTML zijn, zoals pdf's en afbeeldingen, en je kunt het in de serverconfiguratie voor hele mappen instellen.
Pagina's die je doorgaans op noindex zet:
- Pagina's met interne zoekresultaten.
- Bedankpagina's, inlogomgevingen, winkelwagens en accountpagina's.
- Dunne tag- of archiefpagina's die content dupliceren die elders al staat.
- Gefilterde of gesorteerde productweergaven die je niet geïndexeerd wilt hebben, maar niet helemaal kunt blokkeren.
- Staging- en testomgevingen, al is wachtwoordbeveiliging daar een veiligere keuze.
De robots.txt-valkuil. Google moet een pagina crawlen om de noindex te lezen. Blokkeer je dezelfde URL in robots.txt, dan ziet Googlebot de instructie nooit, en kan de URL geïndexeerd blijven (meestal zonder beschrijving) als andere pagina's ernaar linken. Wil je een pagina uit Google halen, sta dan crawlen toe en voeg noindex toe. Is hij eenmaal verdwenen, dan kun je beslissen of je het crawlen ook blokkeert. Sinds 2019 ondersteunt Google geen noindex-regel meer in robots.txt zelf.
Noindex en links. Op een pagina met noindex kan Google in het begin nog links volgen. Google heeft gezegd dat pagina's die lang op noindex staan uiteindelijk minder worden gecrawld en dat hun links mogelijk niet meer worden gevolgd. Leun dus niet op noindex-pagina's als belangrijk onderdeel van je interne linkstructuur.
Veelgemaakte fouten:
- Een site die live is gegaan terwijl de instelling "zoekmachines ontmoedigen" uit de ontwikkelfase nog aanstaat, waardoor de hele site buiten Google blijft. Check dit na elke livegang en migratie.
- Noindex gecombineerd met een canonical naar een andere URL. Dat zijn tegenstrijdige signalen; kies er één.
- Pagina's op noindex die in de XML-sitemap staan.
- JavaScript dat een noindex verwijdert nadat de pagina is geladen. Staat er in de ruwe HTML noindex, dan kan Google het renderen overslaan en de pagina buiten de index houden.
- Gepagineerde categoriepagina's op noindex zetten, waardoor producten of artikelen verderop in de reeks mogelijk niet meer worden ontdekt.
Zo check je het. De URL-inspectietool in Google Search Console laat zien of indexering voor een URL is toegestaan en waarom. Het rapport Pagina-indexering toont elke pagina met "Uitgesloten door noindex-tag". Loop die lijst regelmatig na: belangrijke pagina's die daar per ongeluk terechtkomen, zijn een van de meest voorkomende technische SEO-fouten.
Voor publishers geldt: een gesponsord artikel mag nooit noindex hebben. Een artikel op noindex verschijnt niet in de zoekresultaten en geeft heel weinig waarde door, en dan schiet de plaatsing haar doel voorbij.
Vragen over noindex
Wat is het verschil tussen noindex en Disallow in robots.txt?
Disallow stopt het crawlen, maar garandeert niet dat de pagina uit de index verdwijnt. Met noindex mag Google de pagina crawlen, maar blijft hij buiten de zoekresultaten. Wil je een pagina laten verwijderen, gebruik dan noindex en houd de pagina crawlbaar.
Hoe lang duurt het voordat een pagina op noindex uit Google verdwijnt?
Zodra Google de pagina opnieuw crawlt en de instructie ziet, verdwijnt hij. Dat kan dagen tot weken duren, afhankelijk van hoe vaak de pagina wordt gecrawld. Indexering aanvragen in de URL-inspectie kan het opnieuw crawlen versnellen.
Volgt Google links op een noindex-pagina?
In het begin wel, maar pagina's die lang op noindex staan, worden doorgaans minder vaak gecrawld, en Google kan stoppen met het volgen van hun links.