Crawl (exploration)

Le crawl est le processus par lequel les robots des moteurs de recherche et de l'IA découvrent et téléchargent des pages web en suivant les liens et les sitemaps. Une page jamais explorée ne peut être ni indexée, ni positionnée, ni utilisée comme source dans les réponses de l'IA.

Crawl (exploration) est la première étape de la façon dont un moteur de recherche voit votre site. Un robot comme Googlebot demande une URL, télécharge le HTML et les ressources nécessaires, extrait les liens de la page et ajoute les nouvelles URL à une file d'attente pour des visites ultérieures. Tout ce qui suit, de l'indexation au classement en passant par la citation dans une réponse d'IA, dépend du bon fonctionnement de cette étape.

Les robots trouvent les URL de plusieurs façons :

  • Liens depuis des pages qu'ils connaissent déjà, qu'il s'agisse de liens internes ou de backlinks d'autres sites.
  • Sitemaps XML que vous soumettez dans Google Search Console ou que vous référencez dans le robots.txt.
  • Redirections et balises canonical qui pointent vers d'autres URL.

Avant de récupérer une URL, un robot bien élevé consulte le robots.txt pour vérifier qu'il y est autorisé. Google décide ensuite à quelle fréquence revenir en fonction de l'importance et de la fraîcheur apparentes d'une page, et de la rapidité de réponse de votre serveur. Les pages qui changent souvent et reçoivent beaucoup de liens sont généralement revisitées plus fréquemment.

Crawl et IA. Les moteurs de recherche ne sont plus les seuls visiteurs. Les entreprises d'IA font tourner leurs propres robots : certains collectent des données d'entraînement, d'autres récupèrent des pages en temps réel pour répondre à la question d'un utilisateur. Beaucoup de ces robots n'exécutent pas le JavaScript : un contenu qui n'apparaît qu'après l'exécution de scripts peut donc leur rester invisible. Si vous voulez être cité dans les réponses de l'IA, assurez-vous que votre contenu important figure dans le HTML initial et que vous ne bloquez pas par erreur les user agents concernés.

Comment vérifier l'exploration. Le rapport Statistiques sur l'exploration de Google Search Console indique combien de requêtes Googlebot effectue par jour, les codes de réponse obtenus et le temps de réponse moyen. Vos fichiers de logs serveur donnent l'image la plus fidèle, car ils montrent chaque requête de robot, y compris celles des crawlers IA. L'outil d'inspection d'URL vous indique quand Google a exploré une page précise pour la dernière fois.

Problèmes courants :

  • Des pages importantes vers lesquelles aucun lien interne ne pointe (pages orphelines).
  • Des serveurs lents ou des erreurs 5xx fréquentes, qui amènent Google à explorer moins.
  • Des variations d'URL sans fin issues de filtres, de tris et d'identifiants de session qui gaspillent l'attention des robots.
  • Des liens construits avec des gestionnaires de clic JavaScript au lieu de vrais éléments d'ancrage avec un href.
  • Une règle robots.txt qui bloque tout un répertoire que vous voulez pourtant faire découvrir.

Une page explorée n'est pas automatiquement indexée. Google peut récupérer une page et décider malgré tout de ne pas l'enregistrer, par exemple lorsqu'elle ressemble à un doublon ou apporte peu de valeur. L'exploration est un accès ; l'indexation est une décision de qualité distincte.

Questions sur le crawl

Quelle est la différence entre crawl et indexation ?

Le crawl consiste à récupérer une page ; l'indexation consiste à l'enregistrer et à la comprendre pour qu'elle puisse apparaître dans les résultats. Une page peut être explorée sans être indexée si Google la juge dupliquée ou de faible valeur.

Comment faire explorer ma page plus vite par Google ?

Faites-y des liens depuis des pages internes fortes, incluez-la dans votre sitemap XML et demandez l'indexation via l'outil d'inspection d'URL de Google Search Console. Un serveur rapide et stable aide aussi Google à explorer davantage.

Les robots IA explorent-ils les sites de la même façon que Googlebot ?

Pas tout à fait. Beaucoup de crawlers IA ne récupèrent que le HTML brut sans exécuter le JavaScript, et ils suivent leurs propres user agents dans le robots.txt : vous devez donc vérifier l'accès pour chacun séparément.

Termes associés