KI-Agenten-Bewertung

Was ist KI-Agenten-Bewertung?

KI-Agenten-Bewertung misst, ob ein Agent die Aufgabe erledigt, die Nutzende wirklich interessiert — nicht nur, ob der nächste Token flüssig wirkt. Typische Signale: Aufgabenerfolg, Nutzungskorrekturen, Eskalation an Menschen, Tool-Fehler, Latenz und Kosten pro gelöster Sitzung.

Ein Chatbot kann ein statisches Quiz gewinnen und in Produktion trotzdem erfundene APIs aufrufen, Pflichtbestätigungen überspringen oder so lange schleifen, bis ein Mensch übernimmt. Bewertungswerkzeuge machen diese Fehler sichtbar, über die Zeit vergleichbar und an ein konkretes Deployment gebunden statt an einen globalen Mittelwert.

Dieses Tag bündelt Produkte zum Testen, Bewerten und Verbessern von Agentenverhalten. Manche setzen auf Offline-Datensätze und Bewerter. Andere erfassen Live-Traffic und machen daraus eine Feedbackschleife. Lernplattformen destillieren gescheiterte Sitzungen zu prüfbaren Regeln, die der Agent beim nächsten Mal abrufen kann.

Was Sie messen sollten

Beginnen Sie beim Ergebnis, dann wählen Sie Instrumente:

• Lösung — Endete die Sitzung nach Ihrer Rubrik mit einem gelösten Problem?
• Korrekturrate — Wie oft musste die nutzende Person umformulieren, rückgängig machen oder überschreiben?
• Eskalation — Wie oft übernahm ein Mensch, nach wie vielen Zügen?
• Tool-Zuverlässigkeit — Fehlgeschlagene Aufrufe, falsche Argumente, fehlende Rechte.
• Sicherheit und Richtlinie — Verweigerungen, die hätten kommen müssen, oder Aktionen, die nicht hätten passieren dürfen.
• Kosten und Latenz — Tokens und Zeit pro erfolgreichem Ergebnis, nicht pro Rohantwort.

Offline-Goldsets eignen sich für Regressionen. Sie ersetzen kein Live-Scoring: Nutzende, Tools und Prompts ändern sich.

Offline-Tests vs. Online-Bewertung

Offline spielt aufgezeichnete Traces oder synthetische Fälle durch Agent oder Bewerter. Wiederholbar, gut für CI. Schwäche: Datensätze altern, Bewerter belohnen Stil statt Korrektheit.

Online bewertet Live-Sitzungen mit klaren Ergebnis-Signalen (Daumen, Ticket geschlossen, Kauf, Übernahme). Es spiegelt die Realität. Schwäche: Rauschen, Bedarf an Volumen und einer klaren Erfolgsdefinition.

Reife Teams nutzen beides. Offline-Suiten fangen bekanntes Breaking vor dem Release. Online-Dashboards zeigen, ob eine Änderung den Menschen half, die wirklich mit dem Agenten sprechen.

Menschliches Feedback und Automatisierung

Menschliche Prüfung ist teuer, bleibt aber Ground Truth bei mehrdeutigen Aufgaben. Stichproben, Rubriken und Doppelblind-Labels senken Bias. Automatische Bewerter (LLM-as-Judge, Unit-Tests auf Tool-Calls, Schema-Checks) skalieren, müssen aber gegen Menschen auf einem Hold-out kalibriert werden.

Behandeln Sie kein einzelnes Judge-Modell als Orakel. Teilt es denselben Fehlermodus wie der Agent, sehen Scores glänzend aus, während Nutzende weiter eskalieren.

So wählen Sie ein Bewertungstool

1. Arbeitseinheit — Einzelantwort, mehrstufige Tools oder Gespräch mit Gedächtnis?
2. Trace-Treue — Sehen Sie Prompts, Tool-I/O und Kontext, nicht nur den Endtext?
3. Erfolgsmodell — Können Sie Ihre Definition je Produkt oder Kunde einstecken?
4. Governance — Wer darf einen neuen Bewerter oder ein Learning in Produktion geben?
5. Betrieb — Nur SaaS, oder Self-Hosted, wenn Logs die VPC nicht verlassen dürfen?
6. geschlossene Schleife — Nur Scores, oder ändern Scores die nächste Sitzung?

Risiken und Grenzen

Leaderboard-Jagd erzeugt Agenten, die die Suite spielen. Overfitting auf ein kleines Goldset verdeckt Live-Fehler. Vollständige Transkripte erzeugen Datenschutz- und Aufbewahrungspflichten. LLM-Richter können je nach Anbieter Texte leaken oder zum Training nutzen — prüfen Sie den Datenpfad, bevor Produktions-Traces rausgehen.

Häufige Fragen

Ist Agenten-Bewertung dasselbe wie Modell-Bewertung?

Nein. Modell-Evals bewerten ein eingefrorenes Modell auf einem Benchmark. Agenten-Evals bewerten ein System: Prompts, Tools, Speicher, Richtlinien und den menschlichen Workflow darum.

Brauchen wir Bewertung, wenn wir schon Analytics haben?

Analytics zeigen Volumen und Abbrüche. Bewertung zeigt, ob der Agent richtig lag und warum. Meist brauchen Sie beides.

Kann Bewertung Fine-Tuning ersetzen?

Manchmal ist der günstigere Hebel ein besserer Prompt, eine abgerufene Regel oder ein blockiertes Tool — kein neuer Checkpoint. Bewertung sagt, welcher Hebel das Ergebnis bewegt hat.

Wer besitzt die Scores?

Eine Produkt- oder Operations-Verantwortung für die Erfolgsdefinition, Engineering für Traces und Bewerter. Herrenlose Dashboards verrotten.