AI エージェント評価

AIエージェント評価とは

AIエージェント評価は、次のトークンが流暢に見えるかではなく、利用者が本当に気にしている仕事をエージェントが完了したかを測ります。典型的な信号は、タスク成功、利用者による訂正、人間へのエスカレーション、ツールエラー、レイテンシ、解決済みセッションあたりのコストです。

チャットボットは静的なクイズで高得点でも、本番ではAPIを捏造したり、必須確認を飛ばしたり、人が引き継ぐまでループしたりします。評価ツールは、これらの失敗を可視化し、時系列で比較し、全球平均ではなく特定デプロイに結び付けます。

このタグは、動作のテスト、採点、改善を助ける製品をまとめます。オフラインデータセットとグレーダーに寄るもの、ライブトラフィックをフィードバックループに変えるもの、失敗セッションを次回取り出せる監査可能なルールに蒸留する学習プラットフォームがあります。

何を測るか

成果から始め、その後に計器を選びます。

• 解決 — あなたのルーブリックで問題は解決したか。
• 訂正率 — 言い直し、取り消し、上書きはどれくらいあったか。
• エスカレーション — 何ターン後に人が引き継いだか。
• ツール信頼性 — 失敗した呼び出し、誤った引数、権限不足。
• 安全とポリシー — あるべき拒否、あってはならない操作。
• コストとレイテンシ — 生の返信ではなく成功成果あたりのトークンと時間。

オフラインのゴールデンセットは回帰に向きます。ライブ採点の代わりにはなりません。

オフラインとオンライン

オフラインは記録トレースや合成ケースを再生します。再現可能でCI向き。弱点はデータセットの陳腐化と、正確さより文体を褒めるグレーダーです。

オンラインは明確な成果信号でライブセッションを採点します。現実を映します。弱点はノイズで、量と成功定義が必要です。成熟したチームは両方を使います。

人間のフィードバックと自動化

人間レビューは高いですが、曖昧なタスクの根拠真理のままです。自動グレーダーは規模を出せますが、ホールドアウトで人間と較正してください。単一の判定モデルを神託にしないでください。エージェントと同じ失敗モードを共有すると、スコアは良く見え、利用者はまだエスカレーションします。

評価ツールの選び方

1. 作業単位は単発返信か、多段ツールか、記憶付き会話か。
2. トレースにプロンプト、ツール入出力、取得コンテキストが見えるか。
3. 製品や顧客ごとに自分の成功定義を差し込めるか。
4. 新しいグレーダーや学習を本番に出してよいのは誰か。
5. 会話ログがVPCから出せないならセルフホストできるか。
6. スコアが次セッションを変える閉ループか、ダッシュボード止まりか。

リスク

リーダーボード追いかけはスイートを攻略するエージェントを生みます。小さなゴールデンセットへの過学習はライブ失敗を隠します。全文保存はプライバシーと保持義務を生みます。本番トレースを送る前にデータ経路を確認してください。

よくある質問

エージェント評価はモデル評価と同じですか？

違います。モデル評価は凍結モデルをベンチマークします。エージェント評価はプロンプト、ツール、記憶、ポリシー、周囲の人間ワークフローを含むシステムを採点します。

プロダクト分析があれば評価は不要ですか？

分析は量と離脱を語ります。評価はエージェントが正しかったか、なぜかを語ります。通常は両方が必要です。

評価はファインチューニングの代わりになりますか？

より安いレバーが、より良いプロンプト、取り出したルール、またはツールの封鎖であることはよくあります。評価はどのレバーが成果を動かしたかを知らせます。

スコアの所有者は誰ですか？

成功定義はプロダクトまたは運用、トレースとグレーダーはエンジニアリングです。持ち主のいないダッシュボードは腐ります。