Presupuesto de rastreo

El presupuesto de rastreo (crawl budget) es el número de URLs que un buscador quiere y puede rastrear en un sitio en un periodo determinado. Lo fijan la capacidad de rastreo del servidor y la demanda que tiene Google de las páginas del sitio.

Presupuesto de rastreo describe cuánta atención dedica Googlebot a tu sitio. Google lo explica como la combinación de dos cosas:

  • Límite de capacidad de rastreo: cuántas solicitudes puede hacer Google sin sobrecargar tu servidor. Las respuestas rápidas y sin errores aumentan este límite; las respuestas lentas y los errores 5xx lo reducen.
  • Demanda de rastreo: cuánto quiere rastrear Google. Las páginas populares, las que cambian a menudo y las URLs que no ha visto antes generan más demanda.

Juntos determinan cuántas URLs descarga Googlebot al día y a cuáles da prioridad.

A quién le debe importar. Para la mayoría de los sitios con unos pocos miles de páginas, el presupuesto de rastreo no es un problema real. La propia Google dice que importa sobre todo en sitios muy grandes (piensa en cientos de miles o millones de URLs) o en sitios cuyo contenido cambia muy rápido, como grandes tiendas online, marketplaces, portales de anuncios y medios de noticias. Si las páginas nuevas de un sitio pequeño no se indexan, la causa suele ser la calidad o el enlazado interno, no el presupuesto de rastreo.

Qué desperdicia presupuesto de rastreo:

  • Navegación por facetas que genera millones de combinaciones de filtros y ordenación.
  • IDs de sesión, parámetros de seguimiento y páginas de calendario que no se acaban nunca.
  • Cadenas de redirecciones largas y muchos enlaces internos rotos.
  • Versiones duplicadas de la misma página (http y https, con y sin barra final, variaciones en mayúsculas).
  • Soft 404 y páginas de poco valor que se rastrean una y otra vez.

Cómo mejorarlo:

  1. Bloquea en robots.txt los patrones de URL realmente inútiles, como los resultados de búsqueda interna o las combinaciones infinitas de filtros.
  2. Enlaza internamente a la URL canónica, nunca a versiones con parámetros.
  3. Corrige las cadenas de redirecciones y actualiza los enlaces internos para que apunten directamente a la URL final.
  4. Limita los sitemaps XML a páginas indexables y usa fechas lastmod precisas.
  5. Mejora los tiempos de respuesta del servidor y mantén bajas las tasas de error.
  6. Devuelve un 404 o un 410 para las páginas que han desaparecido de verdad, para que Google deje de volver a visitarlas.

Ten en cuenta que noindex no ahorra presupuesto de rastreo: Google tiene que rastrear una página para ver la etiqueta noindex. Las etiquetas canonical tampoco detienen el rastreo. Solo robots.txt impide la descarga.

Monitorización. El informe de estadísticas de rastreo de Google Search Console muestra el total de solicitudes, los códigos de respuesta, los tipos de archivo y el propósito de cada rastreo (descubrimiento o actualización). Los logs del servidor dan la imagen completa y muestran también cuánto solicitan a tu servidor los rastreadores de IA, que en sitios grandes puede ser considerable.

Preguntas sobre el presupuesto de rastreo

¿Importa el presupuesto de rastreo en los sitios web pequeños?

Pocas veces. En sitios con unos pocos miles de URLs, Google normalmente puede rastrearlo todo; ahí los problemas de indexación casi siempre tienen que ver con la calidad del contenido o los enlaces internos.

¿Ahorra noindex presupuesto de rastreo?

No. Google tiene que rastrear la página para leer la etiqueta noindex. Solo bloquear la URL en robots.txt impide que se descargue.

¿Cómo puedo ver mi presupuesto de rastreo?

Abre Ajustes y luego Estadísticas de rastreo en Google Search Console para ver las solicitudes de rastreo diarias, los códigos de respuesta y los tiempos de respuesta. Los archivos de log del servidor dan una visión más completa.

Términos relacionados