Volver a Aprende/Operación
El tiempo por debajo del cual se resuelve el 95% de las ejecuciones. Un promedio oculta a los usuarios que esperan de más; p95 los expone.
En un agente, la latencia no es un solo número: es una cadena. La suma incluye el tiempo del modelo, las llamadas a herramientas, la consulta a la base de conocimiento y el canal de salida. Medir solo el total no dice dónde arreglar; medir por etapa sí.
Un promedio de ocho segundos puede convivir con un p95 de treinta. Para quien opera un chat o una llamada, esos casos lentos son los que se recuerdan, porque son donde la conversación se corta o el usuario abandona. Por eso el compromiso de tiempo se escribe sobre p95 y no sobre promedio, con la etapa incluida.
La latencia también condiciona el diseño: si una consulta a un portal tarda, la conversación puede reconocer la espera y continuar en segundo plano. Elegir esa ruta es una decisión de experiencia, no solo de infraestructura.