robots.txt

Il robots.txt è un file di testo semplice nella root di un sito che dice ai crawler quali percorsi possono o non possono recuperare. Controlla la scansione, non l'indicizzazione, ed è anche il punto in cui consenti o blocchi specifici crawler AI.

La robots.txt è un file che si trova nella root di un host, per esempio example.com/robots.txt. Prima di scansionare, i bot corretti lo leggono per vedere quali parti del sito possono richiedere. Segue il Robots Exclusion Protocol, formalizzato come standard internet nel 2022.

Un file è composto da gruppi. Ogni gruppo inizia con una riga User-agent che indica un crawler (o * per tutti), seguita da regole Allow e Disallow. Puoi anche aggiungere una o più righe Sitemap che puntano alle tue sitemap XML. Per esempio, un gruppo con User-agent: * e Disallow: /search/ dice a tutti i bot di stare fuori dai risultati della ricerca interna.

Cosa non fa il robots.txt:

  • Il robots.txt non rimuove le pagine dall'indice. Un URL bloccato può comunque essere indicizzato (di solito senza description) se altri siti lo linkano.
  • Non nasconde i contenuti. Il file è pubblico, quindi non usarlo mai per "nascondere" directory private.
  • Google non supporta il noindex all'interno del robots.txt e ignora la direttiva crawl-delay.
  • È una richiesta, non un lucchetto. I bot malevoli semplicemente lo ignorano.

Se vuoi togliere una pagina da Google, lasciala scansionare e aggiungi un tag noindex. Bloccarla contemporaneamente nel robots.txt significa che Google non vedrà mai il noindex.

robots.txt e crawler AI. Dal 2023 questo file è diventato il punto principale in cui decidere come le aziende di AI possono usare i tuoi contenuti. La maggior parte dei grandi fornitori di AI pubblica user agent separati per l'addestramento e per il retrieval in tempo reale. Google-Extended, per esempio, è un token che controlla se i tuoi contenuti vengono usati per i modelli Gemini, senza influire su Google Search. Bloccare un crawler di addestramento consentendo un crawler di ricerca o retrieval è una via di mezzo comune per i siti che vogliono comparire come fonte nelle risposte AI senza regalare contenuti all'addestramento. Controlla la documentazione di ogni fornitore, perché nomi e comportamenti cambiano.

Errori comuni:

  • Un Disallow: / rimasto da un sito di staging che blocca l'intero sito live.
  • Bloccare file CSS e JavaScript, cosa che impedisce a Google di renderizzare correttamente la pagina.
  • Bloccare un URL che contiene un noindex o un canonical che vuoi far vedere a Google.
  • Dimenticare che ogni sottodominio e ogni protocollo ha bisogno del proprio robots.txt.
  • Regole troppo ampie, perché i percorsi vengono confrontati come prefissi: Disallow: /blog blocca anche /blog-archive.

Google legge fino a 500 KiB del file e lo tiene in cache per un massimo di un giorno. Usa il report robots.txt in Google Search Console per vedere quale versione ha recuperato Google e se ha trovato errori.

Domande sul robots.txt

Bloccare una pagina nel robots.txt la rimuove da Google?

No. Blocca solo la scansione. Per rimuovere una pagina dall'indice, consenti la scansione e aggiungi un tag noindex, oppure usa lo strumento Rimozioni per nasconderla temporaneamente.

Come blocco i crawler AI con il robots.txt?

Aggiungi un gruppo User-agent per ogni bot AI che vuoi bloccare, con Disallow: /. Usa il nome dello user agent documentato da ogni fornitore e ricorda che i bot per l'addestramento e quelli per la ricerca hanno spesso nomi diversi.

Dove va posizionato il robots.txt?

Nella root di ogni host, per esempio https://www.example.com/robots.txt. Un file in una sottocartella viene ignorato, e ogni sottodominio ne ha bisogno di uno proprio.

Termini correlati