Evaluación de Agentes IA

Qué es la evaluación de agentes de IA

La evaluación de agentes mide si el agente completa el trabajo que la persona usuaria realmente necesita, no solo si el siguiente token suena fluido. Señales típicas: éxito de la tarea, correcciones, escalado a humano, errores de herramientas, latencia y coste por sesión resuelta.

Un chatbot puede ganar un cuestionario estático y fallar en producción: inventar APIs, saltarse una confirmación o buclar hasta que alguien toma el control. Las herramientas de evaluación hacen visibles esos fallos, comparables en el tiempo y ligados a un despliegue concreto, no a una media global.

Esta etiqueta agrupa productos para probar, puntuar y mejorar el comportamiento. Unos se centran en conjuntos offline y evaluadores. Otros capturan tráfico real y lo convierten en un bucle de feedback. Las plataformas de aprendizaje destilan sesiones fallidas en reglas auditables que el agente puede recuperar la próxima vez.

Qué conviene medir

Empiece por el resultado y luego elija instrumentos:

• Resolución — Según su rúbrica, ¿se resolvió el problema?
• Tasa de corrección — ¿Cuántas veces hubo que reformular, deshacer o anular al agente?
• Escalado — ¿Cuántas veces intervino una persona y tras cuántos turnos?
• Fiabilidad de herramientas — Llamadas fallidas, argumentos incorrectos, permisos ausentes.
• Seguridad y política — Negativas que debían ocurrir, o acciones que no debían.
• Coste y latencia — Tokens y tiempo por resultado exitoso, no por respuesta cruda.

Los conjuntos dorados offline sirven para regresiones. No sustituyen la puntuación en vivo: cambian usuarios, herramientas y prompts.

Pruebas offline frente a evaluación online

Offline ejecuta trazas grabadas o casos sintéticos. Es repetible y útil en CI. Debilidad: el dataset envejece y el evaluador puede premiar el estilo frente a la corrección.

Online puntúa sesiones reales con señales de resultado (pulgares, ticket cerrado, compra, toma de control). Refleja la realidad. Debilidad: ruido, hace falta volumen y una definición clara de éxito.

Los equipos maduros usan ambas. Las suites offline pillan roturas conocidas antes del release. Los paneles online muestran si un cambio ayudó a quien habla con el agente.

Feedback humano y automatización

La revisión humana es cara, pero sigue siendo la verdad de referencia en tareas ambiguas. Muestreo, rúbricas y etiquetas a doble ciego reducen sesgo. Los evaluadores automáticos (LLM como juez, tests de llamadas, comprobaciones de esquema) escalan, pero deben calibrarse contra humanos en un conjunto reservado.

No trate un único modelo juez como oráculo. Si comparte el mismo modo de fallo que el agente, las puntuaciones brillan mientras la gente sigue escalando.

Cómo elegir una herramienta de evaluación

1. Unidad de trabajo — ¿Una respuesta, herramientas en varios pasos o una conversación con memoria?
2. Fidelidad de la traza — ¿Ve prompts, E/S de herramientas y contexto, no solo el texto final?
3. Modelo de resultado — ¿Puede enchufar su definición de éxito por producto o cliente?
4. Gobernanza — ¿Quién publica un evaluador o un aprendizaje nuevo a producción?
5. Despliegue — ¿Solo SaaS, o autoalojado si los logs no pueden salir de la VPC?
6. Bucle cerrado — ¿Solo informa puntuaciones o pueden cambiar la siguiente sesión?

Riesgos y límites

Perseguir rankings produce agentes que juegan a la suite. Sobreajustar un conjunto dorado pequeño oculta fallos en vivo. Guardar transcripciones completas crea obligaciones de privacidad y retención. Un juez LLM puede filtrar o entrenar con texto de clientes según el proveedor: compruebe la ruta de datos antes de enviar trazas de producción.

Preguntas frecuentes

¿Evaluar agentes es lo mismo que evaluar el modelo?

No. La eval de modelo puntúa un modelo congelado en un benchmark. La eval de agente puntúa un sistema: prompts, herramientas, memoria, políticas y el flujo humano alrededor.

¿Hace falta si ya tenemos analítica de producto?

La analítica habla de volumen y abandono. La evaluación dice si el agente acertó y por qué. Suele hacer falta ambas.

¿Puede sustituir al fine-tuning?

A veces el arreglo más barato es un mejor prompt, una regla recuperada o bloquear una herramienta, no un checkpoint nuevo. La evaluación indica qué palanca movió el resultado.

¿Quién debe poseer las puntuaciones?

Una persona de producto u operaciones para la definición de éxito, e ingeniería para trazas y evaluadores. Los paneles sin dueño se pudren.