Noindex
Noindex è una direttiva robots, impostata in un meta tag robots o in un header HTTP X-Robots-Tag, che dice ai motori di ricerca di non mostrare una pagina nei risultati. La pagina deve restare scansionabile, altrimenti la direttiva non viene mai vista.
noindex è una direttiva che dice ai motori di ricerca: puoi visitare questa pagina, ma non includerla nei tuoi risultati di ricerca. È il modo standard per tenere fuori da Google le pagine che devono esistere per gli utenti ma non hanno valore nella ricerca.
Due modi per impostarlo:
- meta tag robots nell'head HTML, con il valore content noindex. Puoi indirizzarlo a tutti i crawler con name="robots" o a un crawler specifico, come name="googlebot".
- Un X-Robots-Tag header HTTP con il valore noindex. Funziona per file non HTML come PDF e immagini e può essere impostato per intere cartelle nella configurazione del server.
Pagine tipiche da mettere in noindex:
- Pagine dei risultati della ricerca interna.
- Pagine di ringraziamento, aree di login, carrelli e pagine account.
- Pagine di tag o archivio scarne che duplicano contenuti presenti altrove.
- Viste prodotto filtrate o ordinate che non vuoi indicizzare ma non puoi bloccare del tutto.
- Ambienti di staging e di test, anche se lì la protezione con password è una scelta più sicura.
La trappola del robots.txt. Google deve scansionare una pagina per leggere il noindex. Se blocchi lo stesso URL nel robots.txt, Googlebot non vede mai la direttiva e l'URL può restare indicizzato (di solito senza description) quando altre pagine lo linkano. Per rimuovere una pagina da Google, consenti la scansione e aggiungi il noindex. Quando è uscita dall'indice puoi decidere se bloccare anche la scansione. Dal 2019 Google non supporta più una regola noindex all'interno del robots.txt stesso.
Noindex e link. Su una pagina in noindex Google all'inizio può ancora seguire i link. Google ha detto che le pagine lasciate a lungo in noindex finiscono per essere scansionate meno e i loro link potrebbero non essere più seguiti. Quindi non contare sulle pagine in noindex come parte importante della tua struttura di link interni.
Errori comuni:
- Un sito lanciato con l'impostazione "scoraggia i motori di ricerca" ancora attiva dalla fase di sviluppo, che tiene l'intero sito fuori da Google. Controllalo dopo ogni lancio e ogni migrazione.
- Noindex combinato con un canonical verso un altro URL. Sono segnali contraddittori; scegline uno.
- Pagine in noindex elencate nella sitemap XML.
- JavaScript che rimuove un noindex dopo il caricamento della pagina. Se l'HTML grezzo dice noindex, Google potrebbe saltare il rendering e tenere fuori la pagina.
- Mettere in noindex le pagine di categoria paginate, cosa che può impedire la scoperta di prodotti o articoli più avanti nella serie.
Come verificarlo. Lo strumento Controllo URL di Google Search Console mostra se l'indicizzazione è consentita per un URL e perché. Il report Indicizzazione delle pagine elenca ogni pagina "Esclusa dal tag 'noindex'". Controlla regolarmente quell'elenco: pagine importanti che ci finiscono per errore sono uno degli errori di SEO tecnica più comuni.
Per i publisher, un articolo sponsorizzato non deve mai avere il noindex. Un articolo in noindex non compare nella ricerca e trasmette pochissimo valore, il che vanifica lo scopo del posizionamento.
Domande sul noindex
Qual è la differenza tra noindex e Disallow nel robots.txt?
Disallow blocca la scansione ma non garantisce la rimozione dall'indice. Noindex permette a Google di scansionare la pagina ma la tiene fuori dai risultati di ricerca. Per rimuovere una pagina usa il noindex e lasciala scansionabile.
Quanto ci mette una pagina in noindex a sparire da Google?
Quando Google scansiona di nuovo la pagina e vede la direttiva, la rimuove. Può richiedere da qualche giorno a qualche settimana, a seconda di quanto spesso la pagina viene scansionata. Richiedere l'indicizzazione in Controllo URL può accelerare la nuova scansione.
Google segue i link su una pagina in noindex?
All'inizio sì, ma le pagine lasciate a lungo in noindex tendono a essere scansionate meno, e Google potrebbe smettere di seguirne i link.