Budget de crawl

Le crawl budget est le nombre d'URL qu'un moteur de recherche veut et peut explorer sur un site au cours d'une période donnée. Il est fixé par la capacité d'exploration du serveur et par la demande de Google pour les pages du site.

Budget de crawl décrit l'attention que Googlebot accorde à votre site. Google l'explique comme la combinaison de deux éléments :

  • Limite de capacité d'exploration : le nombre de requêtes que Google peut effectuer sans surcharger votre serveur. Des réponses rapides et sans erreur relèvent cette limite ; des réponses lentes et des erreurs 5xx l'abaissent.
  • Demande d'exploration : à quel point Google veut explorer. Les pages populaires, les pages qui changent souvent et les URL qu'il n'a jamais vues génèrent davantage de demande.

Ensemble, ils déterminent combien d'URL Googlebot récupère chaque jour et lesquelles il traite en priorité.

Qui est concerné. Pour la plupart des sites de quelques milliers de pages, le crawl budget n'est pas un vrai sujet. Google lui-même indique qu'il compte surtout pour les très grands sites (de l'ordre de centaines de milliers à des millions d'URL) ou les sites dont le contenu change très rapidement, comme les grandes boutiques en ligne, les marketplaces, les sites de petites annonces et les éditeurs d'actualité. Si les nouvelles pages d'un petit site ne sont pas indexées, la cause est généralement la qualité ou le maillage interne, pas le crawl budget.

Ce qui gaspille le crawl budget :

  • Une navigation à facettes qui crée des millions de combinaisons de filtres et de tris.
  • Les identifiants de session, les paramètres de suivi et les pages de calendrier qui n'en finissent pas.
  • De longues chaînes de redirections et de nombreux liens internes cassés.
  • Des versions en double d'une même page (http et https, avec et sans slash final, variantes en majuscules).
  • Les soft 404 et les pages de faible valeur explorées à répétition.

Comment l'améliorer :

  1. Bloquez dans le robots.txt les schémas d'URL vraiment inutiles, comme les résultats de recherche interne ou les combinaisons de filtres sans fin.
  2. Faites vos liens internes vers l'URL canonique, jamais vers les versions avec paramètres.
  3. Corrigez les chaînes de redirections et mettez à jour les liens internes pour qu'ils pointent directement vers l'URL finale.
  4. Limitez les sitemaps XML aux pages indexables et utilisez des dates lastmod exactes.
  5. Améliorez les temps de réponse du serveur et maintenez un faible taux d'erreurs.
  6. Renvoyez une 404 ou une 410 pour les pages réellement supprimées, afin que Google cesse de les revisiter.

Notez que le noindex n'économise pas de crawl budget : Google doit explorer une page pour voir la balise noindex. Les balises canonical n'empêchent pas non plus l'exploration. Seul le robots.txt empêche la récupération.

Suivi. Le rapport Statistiques sur l'exploration de Google Search Console indique le nombre total de requêtes, les codes de réponse, les types de fichiers et l'objectif de chaque exploration (découverte ou actualisation). Les logs serveur donnent une image complète et montrent aussi le volume de requêtes des crawlers IA sur votre serveur, qui peut être considérable sur les gros sites.

Questions sur le crawl budget

Le crawl budget compte-t-il pour les petits sites ?

Rarement. Pour les sites de quelques milliers d'URL, Google peut généralement tout explorer ; les problèmes d'indexation y relèvent presque toujours de la qualité du contenu ou du maillage interne.

Le noindex économise-t-il du crawl budget ?

Non. Google doit explorer la page pour lire la balise noindex. Seul le blocage de l'URL dans le robots.txt empêche sa récupération.

Comment voir mon crawl budget ?

Ouvrez Paramètres puis Statistiques sur l'exploration dans Google Search Console pour voir les requêtes d'exploration quotidiennes, les codes de réponse et les temps de réponse. Les fichiers de logs serveur offrent une vue plus complète.

Termes associés