robots.txt
Il robots.txt è un file di testo semplice nella root di un sito che dice ai crawler quali percorsi possono o non possono recuperare. Controlla la scansione, non l'indicizzazione, ed è anche il punto in cui consenti o blocchi specifici crawler AI.
La robots.txt è un file che si trova nella root di un host, per esempio example.com/robots.txt. Prima di scansionare, i bot corretti lo leggono per vedere quali parti del sito possono richiedere. Segue il Robots Exclusion Protocol, formalizzato come standard internet nel 2022.
Un file è composto da gruppi. Ogni gruppo inizia con una riga User-agent che indica un crawler (o * per tutti), seguita da regole Allow e Disallow. Puoi anche aggiungere una o più righe Sitemap che puntano alle tue sitemap XML. Per esempio, un gruppo con User-agent: * e Disallow: /search/ dice a tutti i bot di stare fuori dai risultati della ricerca interna.
Cosa non fa il robots.txt:
- Il robots.txt non rimuove le pagine dall'indice. Un URL bloccato può comunque essere indicizzato (di solito senza description) se altri siti lo linkano.
- Non nasconde i contenuti. Il file è pubblico, quindi non usarlo mai per "nascondere" directory private.
- Google non supporta il noindex all'interno del robots.txt e ignora la direttiva crawl-delay.
- È una richiesta, non un lucchetto. I bot malevoli semplicemente lo ignorano.
Se vuoi togliere una pagina da Google, lasciala scansionare e aggiungi un tag noindex. Bloccarla contemporaneamente nel robots.txt significa che Google non vedrà mai il noindex.
robots.txt e crawler AI. Dal 2023 questo file è diventato il punto principale in cui decidere come le aziende di AI possono usare i tuoi contenuti. La maggior parte dei grandi fornitori di AI pubblica user agent separati per l'addestramento e per il retrieval in tempo reale. Google-Extended, per esempio, è un token che controlla se i tuoi contenuti vengono usati per i modelli Gemini, senza influire su Google Search. Bloccare un crawler di addestramento consentendo un crawler di ricerca o retrieval è una via di mezzo comune per i siti che vogliono comparire come fonte nelle risposte AI senza regalare contenuti all'addestramento. Controlla la documentazione di ogni fornitore, perché nomi e comportamenti cambiano.
Errori comuni:
- Un Disallow: / rimasto da un sito di staging che blocca l'intero sito live.
- Bloccare file CSS e JavaScript, cosa che impedisce a Google di renderizzare correttamente la pagina.
- Bloccare un URL che contiene un noindex o un canonical che vuoi far vedere a Google.
- Dimenticare che ogni sottodominio e ogni protocollo ha bisogno del proprio robots.txt.
- Regole troppo ampie, perché i percorsi vengono confrontati come prefissi: Disallow: /blog blocca anche /blog-archive.
Google legge fino a 500 KiB del file e lo tiene in cache per un massimo di un giorno. Usa il report robots.txt in Google Search Console per vedere quale versione ha recuperato Google e se ha trovato errori.
Domande sul robots.txt
Bloccare una pagina nel robots.txt la rimuove da Google?
No. Blocca solo la scansione. Per rimuovere una pagina dall'indice, consenti la scansione e aggiungi un tag noindex, oppure usa lo strumento Rimozioni per nasconderla temporaneamente.
Come blocco i crawler AI con il robots.txt?
Aggiungi un gruppo User-agent per ogni bot AI che vuoi bloccare, con Disallow: /. Usa il nome dello user agent documentato da ogni fornitore e ricorda che i bot per l'addestramento e quelli per la ricerca hanno spesso nomi diversi.
Dove va posizionato il robots.txt?
Nella root di ogni host, per esempio https://www.example.com/robots.txt. Un file in una sottocartella viene ignorato, e ogni sottodominio ne ha bisogno di uno proprio.