Évaluation d'Agents IA

Qu'est-ce que l'évaluation d'agents IA ?

L'évaluation d'agents mesure si l'agent accomplit le travail qui compte vraiment pour l'utilisateur, pas seulement si le prochain jeton paraît fluide. Signaux typiques : succès de la tâche, corrections, escalation humaine, erreurs d'outils, latence et coût par session résolue.

Un chatbot peut réussir un quiz statique et échouer en production : inventer des API, sauter une confirmation, ou boucler jusqu'à ce qu'une personne prenne le relais. Les outils d'évaluation rendent ces échecs visibles, comparables dans le temps et liés à un déploiement précis, pas à une moyenne globale.

Cette étiquette regroupe les produits qui testent, notent et améliorent le comportement. Certains misent sur des jeux hors ligne et des évaluateurs. D'autres capturent le trafic réel et en font une boucle de feedback. Les plateformes d'apprentissage distillent les sessions ratées en règles auditables que l'agent peut relire la fois suivante.

Que mesurer

Parte du résultat, puis choisissez les instruments :

• Résolution — Selon votre grille, le problème a-t-il été réglé ?
• Taux de correction — Combien de fois a-t-il fallu reformuler, annuler ou écraser l'agent ?
• Escalade — Combien de fois un humain a-t-il pris le relais, après combien de tours ?
• Fiabilité des outils — Appels en échec, mauvais arguments, droits manquants.
• Sûreté et politique — Refus qui auraient dû avoir lieu, ou actions qui n'auraient pas dû.
• Coût et latence — Jetons et temps par résultat réussi, pas par réponse brute.

Les jeux dorés hors ligne servent aux régressions. Ils ne remplacent pas le scoring live : utilisateurs, outils et prompts bougent.

Hors ligne vs en ligne

Hors ligne rejoue des traces enregistrées ou des cas synthétiques. Répétable, utile en CI. Faiblesse : le jeu vieillit, l'évaluateur peut récompenser le style plutôt que l'exactitude.

En ligne note les sessions réelles avec des signaux d'issue (pouces, ticket clos, achat, reprise humaine). Cela reflète le réel. Faiblesse : bruit, besoin de volume et d'une définition claire du succès.

Les équipes matures font les deux. Les suites hors ligne attrapent les cassures connues avant la release. Les tableaux de bord en ligne montrent si un changement a aidé les gens qui parlent vraiment à l'agent.

Feedback humain et automatisation

La relecture humaine est chère mais reste la vérité de référence sur les tâches ambiguës. Échantillonnage, grilles et labels en double aveugle réduisent le biais. Les évaluateurs automatiques (LLM juge, tests d'appels, contrôles de schéma) passent à l'échelle, mais doivent être calibrés contre des humains sur un jeu tenu à l'écart.

Ne traitez pas un seul modèle juge comme un oracle. S'il partage le même mode d'échec que l'agent, les scores brillent pendant que les utilisateurs escaladent encore.

Comment choisir un outil d'évaluation

1. Unité de travail — Une réponse, des outils multi-étapes, ou une conversation avec mémoire ?
2. Fidélité de la trace — Voyez-vous prompts, E/S d'outils et contexte, pas seulement le texte final ?
3. Modèle de succès — Pouvez-vous brancher votre définition, par produit ou client ?
4. Gouvernance — Qui peut publier un évaluateur ou un apprentissage en production ?
5. Déploiement — SaaS seul, ou auto-hébergé si les journaux ne peuvent pas quitter le VPC ?
6. Boucle fermée — Seulement des scores, ou les scores changent-ils la session suivante ?

Risques et limites

Courir après les classements produit des agents qui jouent la suite. Le surapprentissage d'un petit jeu doré masque les échecs live. Stocker des transcriptions entières crée des devoirs de confidentialité et de conservation. Un juge LLM peut fuiter ou s'entraîner sur du texte client selon le fournisseur : vérifiez le chemin des données avant d'envoyer des traces de production.

Questions fréquentes

Évaluer un agent, est-ce évaluer le modèle ?

Non. L'éval modèle note un modèle figé sur un benchmark. L'éval agent note un système : prompts, outils, mémoire, politiques et le flux humain autour.

Faut-il évaluer si on a déjà de l'analytique produit ?

L'analytique parle de volume et d'abandons. L'évaluation dit si l'agent avait raison, et pourquoi. Il faut souvent les deux.

L'évaluation peut-elle remplacer le fine-tuning ?

Parfois le levier moins cher est un meilleur prompt, une règle récupérée ou un outil bloqué — pas un nouveau checkpoint. L'évaluation dit quel levier a bougé le résultat.

Qui doit posséder les scores ?

Un responsable produit ou ops pour la définition du succès, l'ingénierie pour les traces et évaluateurs. Les tableaux de bord sans propriétaire pourrissent.