robots.txt

Le robots.txt est un fichier texte brut placé à la racine d'un site, qui indique aux crawlers quels chemins ils peuvent ou non récupérer. Il contrôle l'exploration, pas l'indexation, et c'est aussi là que vous autorisez ou bloquez des crawlers d'IA spécifiques.

La robots.txt se trouve à la racine d'un hôte, par exemple example.com/robots.txt. Avant d'explorer, les bots bien élevés le lisent pour savoir quelles parties du site ils sont autorisés à demander. Il suit le Robots Exclusion Protocol, devenu un standard internet officiel en 2022.

Un fichier se compose de groupes. Chaque groupe commence par une ligne User-agent qui nomme un crawler (ou * pour tous), suivie de règles Allow et Disallow. Vous pouvez aussi ajouter une ou plusieurs lignes Sitemap pointant vers vos sitemaps XML. Par exemple, un groupe avec User-agent: * et Disallow: /search/ indique à tous les bots de ne pas explorer les résultats de recherche interne.

Ce que le robots.txt ne fait pas :

  • Il ne fait pas sortir les pages de l'index. Une URL bloquée peut tout de même être indexée (généralement sans description) si d'autres sites font des liens vers elle.
  • Il ne masque pas de contenu. Le fichier est public : ne l'utilisez donc jamais pour « cacher » des répertoires privés.
  • Google ne prend pas en charge noindex dans le robots.txt et ignore la directive crawl-delay.
  • C'est une demande, pas un verrou. Les bots malveillants l'ignorent tout simplement.

Si vous voulez retirer une page de Google, laissez-la être explorée et ajoutez une balise noindex. La bloquer en même temps dans le robots.txt signifie que Google ne verra jamais le noindex.

Le robots.txt et les crawlers d'IA. Depuis 2023, ce fichier est devenu le principal endroit où décider comment les entreprises d'IA peuvent utiliser votre contenu. La plupart des grands fournisseurs d'IA publient des user agents distincts pour l'entraînement et pour la récupération en direct. Google-Extended, par exemple, est un jeton qui détermine si votre contenu est utilisé pour les modèles Gemini, sans affecter la recherche Google. Bloquer un crawler d'entraînement tout en autorisant un crawler de recherche ou de récupération est un compromis courant pour les sites qui veulent apparaître comme source dans les réponses d'IA sans offrir leur contenu à l'entraînement. Consultez la documentation de chaque fournisseur, car les noms et les comportements évoluent.

Erreurs courantes :

  • Un Disallow: / oublié depuis un site de préproduction, qui bloque tout le site en ligne.
  • Bloquer les fichiers CSS et JavaScript, ce qui empêche Google d'effectuer correctement le rendu de la page.
  • Bloquer une URL qui porte un noindex ou une canonical que vous voulez que Google voie.
  • Oublier que chaque sous-domaine et chaque protocole a besoin de son propre robots.txt.
  • Des règles trop larges, car les chemins sont comparés comme des préfixes : Disallow: /blog bloque aussi /blog-archive.

Google lit jusqu'à 500 Kio du fichier et le met en cache jusqu'à une journée. Utilisez le rapport robots.txt de Google Search Console pour voir quelle version Google a récupérée et s'il a trouvé des erreurs.

Questions sur le robots.txt

Bloquer une page dans le robots.txt la retire-t-il de Google ?

Non. Il empêche seulement l'exploration. Pour retirer une page de l'index, autorisez l'exploration et ajoutez une balise noindex, ou utilisez l'outil de suppression pour un masquage temporaire.

Comment bloquer les crawlers d'IA avec le robots.txt ?

Ajoutez un groupe User-agent pour chaque bot d'IA que vous voulez bloquer, avec Disallow: /. Utilisez le nom de user agent documenté par chaque fournisseur, et n'oubliez pas que les bots d'entraînement et de recherche portent souvent des noms différents.

Où placer le robots.txt ?

À la racine de chaque hôte, par exemple https://www.example.com/robots.txt. Un fichier placé dans un sous-dossier est ignoré, et chaque sous-domaine a besoin du sien.

Termes associés