Rastreador de IA

Un rastreador de IA es un bot que visita sitios web en nombre de una empresa de IA, ya sea para recopilar contenido con el que entrenar modelos de lenguaje o para obtener páginas en tiempo real y que un asistente de IA pueda responder a una pregunta.

Rastreadores de IA son programas automatizados que leen páginas web para sistemas de IA. Funcionan de forma muy parecida a los rastreadores de buscadores como Googlebot, pero el contenido que recopilan acaba en modelos de lenguaje o en respuestas de IA en lugar de, o además de, en un índice de búsqueda clásico.

Tipos de rastreadores de IA

Conviene distinguir tres tipos, porque tienen efectos distintos en tu sitio:

  • Rastreadores de entrenamiento recopilan contenido para entrenar modelos futuros. Algunos ejemplos son GPTBot (OpenAI), ClaudeBot (Anthropic) y CCBot (Common Crawl, cuyo archivo se usa mucho para entrenamiento).
  • Rastreadores de búsqueda crean o actualizan un índice que los asistentes de IA usan para encontrar y citar fuentes. Algunos ejemplos son OAI-SearchBot para la búsqueda de ChatGPT y PerplexityBot para Perplexity.
  • Fetchers activados por el usuario visitan una página concreta porque un usuario ha pedido al asistente que la lea o porque el asistente la necesita durante una conversación. Algunos ejemplos son ChatGPT-User y Perplexity-User.

Google es un caso especial. AI Overviews y AI Mode usan el índice normal de Googlebot, así que no puedes bloquearlos sin salir de la Búsqueda de Google. El token independiente Google-Extended en robots.txt solo controla si tu contenido puede usarse para el entrenamiento de los modelos Gemini y para el grounding fuera de la Búsqueda.

Cómo gestionar los rastreadores de IA

La mayoría de las empresas de IA respetan robots.txt. Puedes permitir o bloquear cada bot por el nombre de su user agent. Muchos sitios optan por permitir los bots de búsqueda y los activados por el usuario, porque generan citas y visitas, y deciden caso por caso con los bots de entrenamiento. Revisa también tu CDN o firewall: algunas configuraciones de seguridad bloquean por defecto los bots de IA sin que el propietario del sitio lo sepa.

Los logs del servidor muestran qué bots visitan tu sitio, con qué frecuencia y qué páginas solicitan. Es la forma más fiable de ver si los rastreadores de IA pueden llegar realmente a tu contenido.

Por qué es importante

Si los rastreadores de IA no pueden acceder a tus páginas, los asistentes de IA no pueden citarlas. Además, muchos rastreadores de IA no ejecutan JavaScript como lo hace Googlebot, así que el contenido que solo aparece tras ejecutar scripts puede ser invisible para ellos.

Consejos prácticos

  • Revisa robots.txt y la configuración de bots de tu CDN al menos una vez al año, porque aparecen bots nuevos con regularidad.
  • Sirve el contenido importante en el HTML inicial, no solo mediante JavaScript del lado del cliente.
  • Ojo con los bots falsos que usan nombres de rastreadores de IA. Verifícalos con los rangos de IP que publican los proveedores.

Errores habituales

Bloquear todos los bots de IA con una sola regla y luego preguntarse por qué el sitio nunca aparece en ChatGPT o Perplexity, o suponer que bloquear un bot de entrenamiento elimina el contenido de modelos que ya se han entrenado.

Preguntas sobre los rastreadores de IA

¿Debo bloquear los rastreadores de IA?

Depende de tus objetivos. Bloquear los bots de búsqueda y los activados por el usuario impide que los asistentes de IA te citen, mientras que bloquear los bots de entrenamiento solo afecta al entrenamiento de modelos futuros.

¿Cómo bloqueo GPTBot?

Añade a robots.txt una regla con User-agent: GPTBot seguida de Disallow: /. Así impides que OpenAI use tus páginas para entrenamiento, pero no afecta a OAI-SearchBot.

¿Puedo bloquear los AI Overviews de Google?

No por separado. Los AI Overviews usan el índice normal de Googlebot. Google-Extended solo controla el uso de tu contenido para el entrenamiento de Gemini y el grounding fuera de la Búsqueda.

Términos relacionados