AI 智能體評估

什麼是 AI 智能體評估？

AI 智能體評估衡量的是智能體有沒有完成使用者真正在意的任務，而不只是下一句看起來是否通順。常見信號包括：任務是否解決、使用者是否糾錯、是否升級人工、工具呼叫是否失敗、時延，以及每次成功工作階段的成本。

聊天機器人可以在靜態測驗上拿高分，卻在生產環境裡編造 API、跳過必要確認，或循環到必須由人接手。評估工具的作用，是讓這些失敗可見、可跨時間比較，並且綁定到具體部署，而不是一個全域平均數。

本標籤收錄幫助團隊測試、打分並改進行為的產品。有的側重離線資料集和評分器；有的採集線上流量，把結果變成回饋環；還有學習平台會把失敗工作階段提煉成下次可檢索的可稽核規則。

應該量什麼

先定義結果，再選儀表。生產裡常見指標：

• 解決率 — 按你定義的量表，工作階段是否真正解決了問題？
• 糾錯率 — 使用者多久需要重說、撤銷或覆蓋智能體？
• 升級 — 多久必須由人接手，經過多少輪？
• 工具可靠性 — 呼叫失敗、參數錯誤、權限缺失。
• 安全與策略 — 該拒絕的沒有拒絕，或不該執行的動作。
• 成本與時延 — 按成功結果計，而不是按原始回覆計。

離線黃金集適合迴歸，但不能替代線上打分：使用者會變、工具會變、提示詞會漂。

離線測試與線上評估

離線把錄製軌跡或合成案例跑過智能體或評分器，可重複，適合 CI。弱點是資料集老化，評分器可能獎勵文風而不是正確性。

線上用明確結果信號給真實工作階段打分。它反映現實。弱點是流量嘈雜，需要足夠量和清晰的成功定義。

成熟團隊兩者都用。離線套件在發版前抓住已知破壞；線上儀表板顯示改動是否幫到真正在對話的人。

人類回饋與自動化

人工評審貴，但仍是模糊任務的真值。抽樣、量表、雙盲標註可降低偏差。自動評分器能放大，但必須用留出集對照人工校準。不要把單一評委模型當成神諭。

如何選擇評估工具

1. 工作單元 — 單次回覆、多步工具呼叫，還是帶記憶的完整對話？
2. 軌跡完整度 — 能否看到提示詞、工具輸入輸出和檢索上下文？
3. 結果模型 — 能否接入你自己的成功定義，並按產品或客戶分開？
4. 治理 — 誰能把新評分器或新學習規則發到生產？
5. 部署 — 僅 SaaS，還是對話紀錄不能離開 VPC 時的自架？
6. 閉環 — 產品只報分數，還是分數能改變下一輪工作階段？

風險與限制

追逐排行榜會訓練出刷題智能體。對小黃金集過擬合會掩蓋線上失敗。全文紀錄帶來隱私和留存義務。送生產軌跡前先核對資料路徑。

常見問題

智能體評估等於模型評估嗎？

不等於。模型評估給凍結模型打基準分。智能體評估給整個系統打分：提示詞、工具、記憶、策略，以及周圍的人工流程。

已有產品分析還要評估嗎？

產品分析告訴你流量和流失。評估告訴你智能體是否做對了、為什麼。通常兩者都要。

評估能否替代微調？

有時更便宜的修復是更好的提示詞、一條可檢索規則，或關掉某個工具。評估用來判斷哪根槓桿真的推動了結果。

分數該由誰負責？

成功定義要有產品或營運負責人，軌跡和評分器要有工程負責人。沒人認領的儀表板會腐爛。