Rastreo
El rastreo es el proceso en el que los bots de buscadores y de IA descubren y descargan páginas web siguiendo enlaces y sitemaps. Una página que nunca se rastrea no puede indexarse, posicionar ni usarse como fuente en las respuestas de IA.
Rastreo es el primer paso de cómo ve un buscador tu sitio. Un bot como Googlebot solicita una URL, descarga el HTML y los recursos que necesita, extrae los enlaces de esa página y añade las URLs nuevas a una cola para visitarlas más adelante. Todo lo que viene después, de la indexación al posicionamiento o a aparecer citado en una respuesta de IA, depende de que este paso funcione.
Los rastreadores encuentran URLs de varias maneras:
- Enlaces desde páginas que ya conocen, tanto enlaces internos como backlinks desde otros sitios.
- Sitemaps XML que envías en Google Search Console o referencias en robots.txt.
- Redirecciones y etiquetas canonical que apuntan a otras URLs.
Antes de descargar una URL, un rastreador bien configurado consulta robots.txt para ver si tiene permiso. Después Google decide con qué frecuencia volver según lo importante y actual que parezca una página y lo rápido que responda tu servidor. Las páginas que cambian a menudo y reciben muchos enlaces suelen visitarse con más frecuencia.
Rastreo e IA. Los buscadores ya no son los únicos visitantes. Las empresas de IA tienen sus propios bots: unos recopilan datos de entrenamiento y otros descargan páginas en tiempo real para responder a la pregunta de un usuario. Muchos de estos bots no ejecutan JavaScript, así que el contenido que solo aparece tras ejecutar scripts puede ser invisible para ellos. Si quieres que te citen en las respuestas de IA, asegúrate de que tu contenido importante está en el HTML inicial y de que no estás bloqueando por error los user agents relevantes.
Cómo comprobar el rastreo. El informe de estadísticas de rastreo de Google Search Console muestra cuántas solicitudes hace Googlebot al día, los códigos de respuesta que obtiene y el tiempo medio de respuesta. Los archivos de log de tu servidor dan la imagen más fiel, porque muestran cada solicitud de bots, incluidos los rastreadores de IA. La herramienta de inspección de URLs te dice cuándo rastreó Google por última vez una página concreta.
Problemas habituales:
- Páginas importantes a las que no apunta ningún enlace interno (páginas huérfanas).
- Servidores lentos o errores 5xx frecuentes, que hacen que Google rastree menos.
- Variaciones infinitas de URLs por filtros, ordenación e IDs de sesión que desperdician la atención del rastreador.
- Enlaces creados con controladores de clic de JavaScript en lugar de elementos de anclaje reales con un href.
- Una regla de robots.txt que bloquea un directorio entero que en realidad quieres que se encuentre.
Una página rastreada no se indexa automáticamente. Google puede descargar una página y aun así decidir no guardarla, por ejemplo cuando parece un duplicado o aporta poco valor. El rastreo es el acceso; la indexación es una decisión de calidad aparte.
Preguntas sobre el rastreo
¿Qué diferencia hay entre rastreo e indexación?
El rastreo es descargar una página; la indexación es guardarla y entenderla para que pueda aparecer en los resultados. Una página puede rastrearse y aun así no indexarse si Google la considera duplicada o de poco valor.
¿Cómo consigo que Google rastree mi página más rápido?
Enlázala desde páginas internas fuertes, inclúyela en tu sitemap XML y solicita la indexación con la herramienta de inspección de URLs de Google Search Console. Un servidor rápido y estable también ayuda a que Google rastree más.
¿Rastrean los bots de IA los sitios web igual que Googlebot?
No exactamente. Muchos rastreadores de IA solo descargan el HTML en bruto sin renderizar JavaScript, y siguen sus propios user agents en robots.txt, así que tienes que comprobar el acceso de cada uno por separado.