Guía
robots.txt, meta robots y X-Robots-Tag: cuál usar con bots de IA
Diferencias entre robots.txt, la meta etiqueta robots y la cabecera X-Robots-Tag, qué controla cada una y cuál usar para bloquear bots de IA o quitar páginas del índice.
Las tres herramientas hablan con los rastreadores, pero no hacen lo mismo. robots.txt controla qué se rastrea; la meta robots y X-Robots-Tag controlan qué se indexa y cómo se muestra. Usar la equivocada es la causa de muchos problemas.
Comparativa
Qué controla cada una
| Mecanismo | Dónde vive | Qué controla | Limitación |
|---|---|---|---|
| robots.txt | Archivo en la raíz | Si un bot puede rastrear una ruta | No impide que una URL aparezca sin contenido si otros la enlazan |
| Meta robots | HTML de cada página | Indexación y vista previa de esa página | El bot debe poder leer la página |
| X-Robots-Tag | Cabecera HTTP | Lo mismo, incluso para PDF e imágenes | Requiere configurar el servidor |
Google explica cómo bloquear la indexación en su documentación.
Casos
Cuál usar según el caso
- No quiero que un bot de IA use mi contenido para entrenar: reglas por User-agent en robots.txt.
- Quiero sacar una página de Google: noindex (meta o cabecera), dejándola rastreable.
- Quiero que un PDF no se indexe: X-Robots-Tag en el servidor.
- Quiero que no se muestre fragmento: directivas como nosnippet en la meta robots.
Trampa
La trampa más común
Si bloqueas una página en robots.txt y además le pones noindex, el rastreador no puede leer el noindex y la URL puede seguir apareciendo. Para que un noindex funcione, la página debe poder rastrearse.
IA
¿Y los bots de IA?
Los bots de IA se gestionan sobre todo con robots.txt. Algunos proveedores indican directivas adicionales para sus productos; consulta la documentación de cada uno antes de asumir que la meta robots les aplica igual que a Googlebot. Para ver el estado actual, usa el comprobador de bots de IA.
Resumen
En resumen
- Qué controla cada una: Google explica cómo bloquear la indexación en su documentación.
- Cuál usar según el caso: No quiero que un bot de IA use mi contenido para entrenar: reglas por User-agent en robots.txt.; Quiero sacar una página de Google: noindex (meta o cabecera), dejándola rastreable.
- La trampa más común: Si bloqueas una página en robots.txt y además le pones noindex, el rastreador no puede leer el noindex y la URL puede seguir apareciendo.
- ¿Y los bots de IA: Los bots de IA se gestionan sobre todo con robots.txt.
Preguntas frecuentes
Lo que suelen preguntar sobre robots.txt, meta robots y X-Robots-Tag
¿Puedo usar noindex para bloquear a GPTBot?
No es el mecanismo previsto; para bots de entrenamiento se usa robots.txt.
¿Qué es mejor para un PDF privado?
Protegerlo con acceso. Los mecanismos de robots son peticiones, no seguridad.