Guía
Cómo comprobar con curl si un bot de IA puede leer tu página
Prueba desde la terminal cómo responde tu servidor a distintos User-Agent (Googlebot, GPTBot, ClaudeBot) y detecta bloqueos de cortafuegos, 403 y redirecciones.
Un bot puede estar permitido en tu robots.txt y aun así recibir un 403 de tu cortafuegos. Con curl puedes simular la petición y ver exactamente qué recibe. Es una prueba de diagnóstico, no una verificación de identidad del bot.
Prueba
El comando básico
Con curl puedes cambiar el User-Agent y ver solo la cabecera de respuesta:
curl -I -A "GPTBot" https://tudominio.com/
curl -I -A "Mozilla/5.0" https://tudominio.com/Compara el código de estado: 200 es correcto; 403, 429 o 503 indican que algo lo está bloqueando o limitando.
Leer
Cómo leer el resultado
| Código | Qué suele significar | Qué revisar |
|---|---|---|
| 200 | Responde bien | Nada, pero verifica robots.txt |
| 301 o 302 | Redirige | Que el destino sea el esperado |
| 403 | Prohibido | Cortafuegos, plugin de seguridad o regla del servidor |
| 429 | Demasiadas peticiones | Límite de velocidad para bots |
| 503 | Servicio no disponible | Protección anti-bots o mantenimiento |
Límites
Qué esta prueba no demuestra
- Los bots reales se verifican por dirección IP o por la documentación de su empresa; cambiar el User-Agent solo simula el nombre.
- Algunos cortafuegos distinguen bots legítimos por IP, por lo que tu prueba puede dar un resultado distinto al del bot real.
- Que responda 200 no significa que el contenido esté completo: revisa el HTML recibido.
Siguiente
Qué hacer si encuentras un 403
Revisa el cortafuegos de aplicaciones, el plugin de seguridad y la configuración de tu CDN. Hay más en la guía de bots de IA bloqueados por cortafuegos. Para el chequeo completo de la portada, usa el comprobador de preparación para IA.
Resumen
En resumen
- El comando básico: Con curl puedes cambiar el User-Agent y ver solo la cabecera de respuesta:
- Qué esta prueba no demuestra: Los bots reales se verifican por dirección IP o por la documentación de su empresa; cambiar el User-Agent solo simula el nombre.; Algunos cortafuegos distinguen bots legítimos por IP, por lo que…
- Qué hacer si encuentras un 403: Revisa el cortafuegos de aplicaciones, el plugin de seguridad y la configuración de tu CDN.
Preguntas frecuentes
Lo que suelen preguntar sobre probar bots de IA con curl
¿Es seguro simular un bot?
Es una petición normal con otro nombre. Hazla solo en sitios que administras.
¿Cómo identifico a un bot real?
Cada empresa publica cómo verificar sus rastreadores; no te fíes solo del User-Agent.