Guía
¿Cómo auditar la calidad de las conversaciones de tu asistente de IA?
Un asistente que nadie revisa se degrada. Un método semanal de 30 minutos: muestreo, rúbrica de cinco criterios, registro de errores, correcciones y métricas para saber si mejora.
Audita tu asistente cada semana: toma una muestra de 20 a 30 conversaciones (incluidas las escaladas a humanos y las de clientes molestos), califícalas con una rúbrica simple de cinco criterios (exactitud, utilidad, tono, seguridad y traspaso), anota los errores por tipo y corrige la base de conocimiento o las reglas. En 30 minutos semanales detectas casi todo lo importante.
Cómo muestrear
Qué conversaciones revisar
- Una muestra aleatoria de conversaciones normales.
- Todas las que terminaron en queja o en cierre sin respuesta.
- Las escaladas a humano y los motivos.
- Las conversaciones con mayor número de mensajes.
- Las que mencionan pagos, descuentos o datos personales.
Rúbrica
Cinco criterios para calificar
- Exactitud: ¿la información es correcta según tu base?
- Utilidad: ¿resolvió o avanzó lo que el cliente necesitaba?
- Tono: ¿sonó como tu marca, claro y respetuoso?
- Seguridad: ¿evitó prometer o revelar lo que no debía?
- Traspaso: ¿pasó a una persona cuando correspondía?
Puntúa de 1 a 3 cada criterio; lo importante es la consistencia.
Registro de errores
Clasifica lo que falla
Anota cada error en una hoja con fecha, tipo (dato incorrecto, inventó, tono, no entendió, no pasó a humano), causa probable y acción. Los patrones aparecen rápido: a menudo falta un dato en la base de conocimiento o una regla del asistente. Mira cómo evitar que invente respuestas.
Corrige la causa
Del hallazgo a la mejora
- Si falta información, añádela a la base (cómo prepararla).
- Si el tono falla, ajusta las instrucciones con ejemplos.
- Si no pasó a humano, refuerza las reglas de traspaso.
- Si hay riesgo, limita la capacidad del asistente.
Métricas
Números para seguir
- Porcentaje de conversaciones resueltas sin intervención.
- Tasa de escalamiento a humano y su motivo.
- Errores graves por cada cien conversaciones.
- Tiempo de primera respuesta y de resolución.
- Satisfacción del cliente, si la mides.
Con ellas puedes calcular el retorno (cómo medir el retorno).
Privacidad
Cuidar los datos al revisar
Limita quién puede leer conversaciones, anonimiza cuando sea posible y define cuánto tiempo se guardan. Informa en tu política de privacidad. Mira IA y protección de datos.
Ejemplo
Un ejemplo práctico (ilustrativo)
Cada lunes, una persona revisa 25 conversaciones con una rúbrica de cinco criterios. Detecta que el asistente da horarios antiguos, corrige la base de conocimiento y confirma la semana siguiente que el error desapareció. Es un escenario hipotético para ilustrar el método, no un caso real ni una promesa de resultados.
Checklist
Auditoría semanal de 30 minutos
- Muestra aleatoria y casos problemáticos.
- Rúbrica de cinco criterios.
- Registro de errores por tipo.
- Corrección de la causa.
- Métricas de resolución y escalamiento.
- Acceso restringido a conversaciones.
- Revisión de resultados cada mes.
Preguntas frecuentes
Lo que suelen preguntar sobre auditar las conversaciones de un asistente
¿Cuántas conversaciones debo revisar?
Entre 20 y 30 por semana al inicio; luego puedes reducir si los resultados son estables.
¿Quién debe revisarlas?
Alguien que conozca el negocio y tenga criterio; puede rotar.
¿Puedo usar otra IA para auditar?
Como apoyo sí, pero con muestreo humano para detectar lo que la IA no ve.
¿Cada cuánto cambio las instrucciones?
Cuando los errores se repitan; evita cambios diarios sin datos.