robots.txt
robots.txt es un archivo de texto plano en la raíz de una web que indica a los rastreadores qué rutas pueden obtener y cuáles no. Controla el rastreo, no la indexación, y es también donde permites o bloqueas rastreadores de IA concretos.
El robots.txt es un archivo que se encuentra en la raíz de un host, por ejemplo example.com/robots.txt. Antes de rastrear, los bots que se portan bien lo leen para ver qué partes de la web pueden solicitar. Sigue el Robots Exclusion Protocol, que se formalizó como estándar de internet en 2022.
Un archivo se compone de grupos. Cada grupo empieza con una línea User-agent que nombra a un rastreador (o * para todos), seguida de reglas Allow y Disallow. También puedes añadir una o varias líneas Sitemap que apunten a tus sitemaps XML. Por ejemplo, un grupo con User-agent: * y Disallow: /search/ indica a todos los bots que no entren en los resultados de búsqueda interna.
Lo que robots.txt no hace:
- Este archivo no elimina páginas del índice. Una URL bloqueada puede seguir indexada (normalmente sin descripción) si otras webs enlazan a ella.
- No oculta contenido. El archivo es público, así que nunca lo uses para "esconder" directorios privados.
- Google no admite noindex dentro de robots.txt e ignora la directiva crawl-delay.
- Es una petición, no un candado. Los bots maliciosos simplemente lo ignoran.
Si quieres sacar una página de Google, deja que se rastree y añade una etiqueta noindex. Si además la bloqueas en robots.txt, Google nunca verá el noindex.
robots.txt y los rastreadores de IA. Desde 2023, este archivo se ha convertido en el lugar principal para decidir cómo pueden usar tu contenido las empresas de IA. La mayoría de los grandes proveedores de IA publican user agents distintos para el entrenamiento y para la recuperación en directo. Google-Extended, por ejemplo, es un token que controla si tu contenido se usa para los modelos Gemini, sin afectar a la Búsqueda de Google. Bloquear un rastreador de entrenamiento y permitir uno de búsqueda o recuperación es un término medio habitual para las webs que quieren aparecer como fuente en las respuestas de IA sin ceder contenido para el entrenamiento. Consulta la documentación de cada proveedor, porque los nombres y el comportamiento cambian.
Errores habituales:
- Un Disallow: / olvidado de un entorno de staging que bloquea toda la web en producción.
- Bloquear archivos CSS y JavaScript, lo que impide que Google renderice bien la página.
- Bloquear una URL que lleva un noindex o un canonical que quieres que Google vea.
- Olvidar que cada subdominio y cada protocolo necesitan su propio robots.txt.
- Reglas demasiado amplias, porque las rutas se comparan como prefijos: Disallow: /blog también bloquea /blog-archive.
Google lee hasta 500 KiB del archivo y lo guarda en caché hasta un día. Usa el informe de robots.txt de Google Search Console para ver qué versión obtuvo Google y si encontró errores.
Preguntas sobre robots.txt
¿Bloquear una página en robots.txt la elimina de Google?
No. Solo impide el rastreo. Para eliminar una página del índice, permite el rastreo y añade una etiqueta noindex, o usa la herramienta de retirada para ocultarla temporalmente.
¿Cómo bloqueo los rastreadores de IA con robots.txt?
Añade un grupo User-agent para cada bot de IA que quieras bloquear, con Disallow: /. Usa el nombre de user agent documentado por cada proveedor y recuerda que los bots de entrenamiento y los de búsqueda suelen tener nombres distintos.
¿Dónde debe colocarse el robots.txt?
En la raíz de cada host, por ejemplo https://www.example.com/robots.txt. Un archivo en una subcarpeta se ignora, y cada subdominio necesita el suyo.