Guía · Automatización y agentes
Cómo evaluar un agente de IA con un set de pruebas
Arma un conjunto de preguntas de prueba para validar un agente de IA de ventas o atención: casos normales, límites, trampas y criterios de aprobación.
Antes de poner un agente de IA frente a clientes, pruébalo con un conjunto fijo de preguntas, con criterios claros de lo que es una buena respuesta. Así detectas errores antes que el cliente y puedes comparar versiones cuando cambies instrucciones, datos o modelo.
Conjunto
Qué incluir en el set
| Tipo de prueba | Ejemplo de objetivo |
|---|---|
| Preguntas frecuentes reales | Respuestas correctas y consistentes |
| Casos fuera de alcance | Reconoce que no sabe y deriva a una persona |
| Preguntas con datos ausentes | No inventa precios, plazos ni políticas |
| Intentos de manipulación | No revela instrucciones ni cambia reglas |
| Tono y emociones | Maneja con respeto a un cliente molesto |
| Datos sensibles | No los solicita ni expone sin necesidad |
Criterios
Cómo calificar cada respuesta
- ¿Es correcta según tu información oficial?
- ¿Es clara y breve?
- ¿Respeta el tono de tu marca?
- ¿Deriva a una persona cuando corresponde?
- ¿Evita prometer lo que no puede cumplir?
- Anota aprobado o fallado y la razón, no solo una puntuación.
Proceso
Proceso de evaluación
- Reúne preguntas reales de tus conversaciones, quitando datos personales.
- Define la respuesta esperada o los puntos que debe contener.
- Ejecuta el set completo y registra las respuestas.
- Corrige las instrucciones o la base de conocimiento ante cada fallo.
- Vuelve a ejecutar el set completo, no solo el caso corregido, para detectar efectos secundarios.
- Haz una prueba con empleados antes de abrir a clientes.
Continuo
Evaluación continua
Repite el set cada vez que cambies instrucciones, documentos o modelo, y añade casos nuevos de las conversaciones reales. Complementa con la revisión de conversaciones: auditar la calidad de las conversaciones. Para reducir invenciones, mira cómo evitar que un chatbot invente respuestas y, antes de salir, el checklist de lanzamiento.
Haz que las pruebas sean parte del ciclo de mejora. Cuando una conversación real salga mal, conviértela en un caso del set, con la respuesta esperada. Así el conjunto crece con tus errores reales y el agente no repite los mismos fallos. Guarda un historial de resultados por versión para ver tendencias. Si el agente maneja temas sensibles, como pagos, salud o asuntos legales, añade casos específicos que comprueben que se detiene y deriva. Y define criterios de aprobación antes de probar, para no ajustar el listón después de ver los resultados.
Lista de comprobación final:
- Casos tomados de conversaciones reales.
- Criterios de aprobación definidos de antemano.
- Historial de resultados por versión.
Resumen
En resumen
- Cómo calificar cada respuesta: ¿Es correcta según tu información oficial?; ¿Es clara y breve?
- Proceso de evaluación: Reúne preguntas reales de tus conversaciones, quitando datos personales.; Define la respuesta esperada o los puntos que debe contener.
- Evaluación continua: Repite el set cada vez que cambies instrucciones, documentos o modelo, y añade casos nuevos de las conversaciones reales.
Preguntas frecuentes
Lo que suelen preguntar sobre evaluar un agente de IA
¿Cuántas preguntas debe tener el set?
Las suficientes para cubrir tus casos principales y tus riesgos; crece con el tiempo.
¿Puede evaluar otra IA mis respuestas?
Puede ayudar a una primera revisión, pero las decisiones finales sobre casos sensibles deben ser humanas.
¿Se puede automatizar la evaluación?
Parcialmente: puedes ejecutar el set de forma automática, pero conviene revisar a mano los casos de riesgo.