Guía
Bots de IA bloqueados por el cortafuegos o Cloudflare sin que lo sepas
Tu robots.txt dice que sí, pero el cortafuegos, el CDN o un plugin de seguridad pueden estar bloqueando a los rastreadores de IA. Cómo detectarlo y corregirlo.
Es frecuente que un sitio esté abierto en el robots.txt y cerrado en la práctica: un cortafuegos, un CDN o un plugin de seguridad detecta tráfico automatizado y lo bloquea sin avisar. El resultado es el mismo que un robots.txt cerrado, pero más difícil de ver.
Dónde mirar
Los cuatro lugares habituales
| Capa | Ejemplos | Qué revisar |
|---|---|---|
| CDN o proxy | Cloudflare y similares | Reglas gestionadas, modo anti-bots, opciones para rastreadores de IA |
| Cortafuegos del servidor | ModSecurity, reglas del hosting | Registros de bloqueos por User-Agent |
| Plugin de seguridad | Wordfence, iThemes y similares | Listas de bots bloqueados y límites de velocidad |
| Protección de aplicación | Reglas propias en .htaccess o Nginx | Condiciones por User-Agent |
Los nombres de las opciones cambian con frecuencia; consulta la documentación de cada producto.
Diagnóstico
Cómo confirmar el bloqueo
- Prueba con curl cambiando el User-Agent (guía de curl).
- Revisa los registros de eventos de seguridad en busca de tu prueba.
- Compara el resultado con el comprobador de bots de IA: si el archivo dice Allow y el servidor devuelve 403, el bloqueo está en otra capa.
Decisión
Antes de abrir nada
Bloquear bots automatizados puede ser deliberado y sensato: reduce carga y raspado. La pregunta es si quieres bloquear a los bots de búsqueda con IA que pueden citarte. Decide por tipo de bot y no con un interruptor general. Si abres acceso, hazlo con reglas específicas y vigila la carga.
Mantenimiento
Cómo evitar sorpresas
- Anota en un documento qué reglas de seguridad afectan a rastreadores.
- Repite la prueba tras cada cambio de plugin, hosting o CDN.
- Pasa el comprobador de preparación para IA cada mes.
- Revisa Search Console por errores de acceso al servidor.
Resumen
En resumen
- Los cuatro lugares habituales: Los nombres de las opciones cambian con frecuencia; consulta la documentación de cada producto.
- Cómo confirmar el bloqueo: Prueba con curl cambiando el User-Agent (guía de curl).; Revisa los registros de eventos de seguridad en busca de tu prueba.
- Antes de abrir nada: Bloquear bots automatizados puede ser deliberado y sensato: reduce carga y raspado.
- Cómo evitar sorpresas: Anota en un documento qué reglas de seguridad afectan a rastreadores.; Repite la prueba tras cada cambio de plugin, hosting o CDN.
Preguntas frecuentes
Lo que suelen preguntar sobre bots de IA bloqueados por firewall
¿Bloquear bots de IA con el CDN afecta a Google?
Si la regla es específica para esos bots, no; si es general contra tráfico automatizado, puede afectar a otros rastreadores. Verifícalo.
¿Cómo sé qué IP usa un bot real?
Las empresas publican sus rangos o formas de verificación en su documentación.