Crawler IA
Un crawler IA est un robot qui visite les sites pour le compte d'une entreprise d'IA, soit pour collecter du contenu destiné à entraîner des modèles de langage, soit pour récupérer des pages en temps réel afin qu'un assistant IA puisse répondre à une question.
Les crawlers IA sont des programmes automatisés qui lisent les pages web pour le compte de systèmes d'IA. Ils fonctionnent à peu près comme les robots des moteurs de recherche tels que Googlebot, mais le contenu qu'ils collectent aboutit dans des modèles de langage ou des réponses d'IA, au lieu ou en plus d'un index de recherche classique.
Types de crawlers IA
Il est utile d'en distinguer trois types, car ils n'ont pas les mêmes effets sur votre site :
- Crawlers d'entraînement collectent du contenu pour entraîner les futurs modèles. Exemples : GPTBot (OpenAI), ClaudeBot (Anthropic) et CCBot (Common Crawl, dont l'archive est largement utilisée pour l'entraînement).
- Crawlers de recherche construisent ou actualisent un index que les assistants IA utilisent pour trouver et citer des sources. Exemples : OAI-SearchBot pour ChatGPT search et PerplexityBot pour Perplexity.
- Fetchers déclenchés par l'utilisateur visitent une page précise parce qu'un utilisateur a demandé à l'assistant de la lire ou que l'assistant en a besoin pendant une conversation. Exemples : ChatGPT-User et Perplexity-User.
Google est un cas particulier. Les AI Overviews et AI Mode utilisent l'index habituel de Googlebot : vous ne pouvez donc pas les bloquer sans quitter la recherche Google. Le jeton distinct Google-Extended dans le robots.txt détermine uniquement si votre contenu peut être utilisé pour l'entraînement et le grounding des modèles Gemini en dehors de la recherche.
Comment gérer les crawlers IA
La plupart des entreprises d'IA respectent le robots.txt. Vous pouvez autoriser ou bloquer chaque robot par son nom de user agent. Beaucoup de sites choisissent d'autoriser les robots de recherche et ceux déclenchés par l'utilisateur, car ils génèrent des citations et des visites, et décident au cas par cas pour les robots d'entraînement. Vérifiez aussi votre CDN ou votre pare-feu : certains paramètres de sécurité bloquent par défaut les robots IA à l'insu du propriétaire du site.
Les logs serveur montrent quels robots passent, à quelle fréquence et quelles pages ils demandent. C'est le moyen le plus fiable de vérifier si les crawlers IA peuvent réellement accéder à votre contenu.
Pourquoi c'est important
Si les crawlers IA ne peuvent pas accéder à vos pages, les assistants IA ne peuvent pas les citer. Beaucoup de crawlers IA n'exécutent pas non plus le JavaScript comme le fait Googlebot : un contenu qui n'apparaît qu'après l'exécution de scripts peut donc leur rester invisible.
Conseils pratiques
- Revoyez le robots.txt et les paramètres de gestion des robots de votre CDN au moins une fois par an, car de nouveaux robots apparaissent régulièrement.
- Servez le contenu important dans le HTML initial, pas uniquement via du JavaScript côté client.
- Méfiez-vous des faux robots qui empruntent le nom de crawlers IA. Vérifiez-les grâce aux plages d'IP publiées par les fournisseurs.
Erreurs courantes
Bloquer tous les robots IA d'une seule règle, puis se demander pourquoi le site n'apparaît jamais dans ChatGPT ou Perplexity, ou croire que bloquer un robot d'entraînement retire le contenu des modèles déjà entraînés.
Questions sur les crawlers IA
Faut-il bloquer les crawlers IA ?
Cela dépend de vos objectifs. Bloquer les robots de recherche et ceux déclenchés par l'utilisateur empêche les assistants IA de vous citer, tandis que bloquer les robots d'entraînement n'affecte que l'entraînement des futurs modèles.
Comment bloquer GPTBot ?
Ajoutez une règle dans le robots.txt avec User-agent: GPTBot suivi de Disallow: /. Cela empêche OpenAI d'utiliser vos pages pour l'entraînement, mais n'a aucun effet sur OAI-SearchBot.
Peut-on bloquer les Google AI Overviews ?
Pas séparément. Les AI Overviews utilisent l'index normal de Googlebot. Google-Extended ne contrôle que l'utilisation de votre contenu pour l'entraînement et le grounding de Gemini en dehors de la recherche.