Volver a Aprende/Operación
El conjunto de casos, criterios y mediciones que demuestran si un agente hace bien su tarea. Sin evaluación no hay versión: hay una impresión sobre una conversación.
Evaluar un agente no es leer una conversación y opinar. Es correr un conjunto de casos representativos de la operación —incluidos los difíciles y los de excepción— contra una salida esperada, y comparar el resultado entre versiones. Los casos se escriben con el equipo dueño del proceso, porque nadie más conoce dónde se rompe en la práctica.
Cada evaluación debe distinguir tres cosas: si el agente entendió la tarea, si ejecutó la acción correcta con los permisos correctos, y si dejó evidencia suficiente para que una persona pueda revisar el resultado. Un agente que acierta la respuesta pero no deja rastro no es operable en un proceso con auditoría.
La evaluación es también el mecanismo para decidir si un cambio se queda. Cuando se cambia de modelo, de prompt o de herramienta, se corre el mismo conjunto y se comparan tasas de acierto y tipos de error. Sin esa comparación, cualquier cambio es un acto de fe.