AI 智能体评估

什么是 AI 智能体评估？

AI 智能体评估衡量的是智能体有没有完成用户真正在意的任务，而不只是下一句看起来是否通顺。常见信号包括：任务是否解决、用户是否纠错、是否升级人工、工具调用是否失败、时延，以及每次成功会话的成本。

聊天机器人可以在静态测验上拿高分，却在生产环境里编造 API、跳过必要确认，或循环到必须由人接手。评估工具的作用，是让这些失败可见、可跨时间比较，并且绑定到具体部署，而不是一个全局平均数。

本标签收录帮助团队测试、打分并改进行为的产品。有的侧重离线数据集和评分器；有的采集线上流量，把结果变成反馈环；还有学习平台会把失败会话提炼成下次可检索的可审计规则。

应该量什么

先定义结果，再选仪表。生产里常见指标：

• 解决率 — 按你定义的量表，会话是否真正解决了问题？
• 纠错率 — 用户多久需要重说、撤销或覆盖智能体？
• 升级 — 多久必须由人接手，经过多少轮？
• 工具可靠性 — 调用失败、参数错误、权限缺失。
• 安全与策略 — 该拒绝的没有拒绝，或不该执行的动作。
• 成本与时延 — 按成功结果计，而不是按原始回复计。

离线黄金集适合回归，但不能替代线上打分：用户会变、工具会变、提示词会漂。

离线测试与线上评估

离线把录制轨迹或合成案例跑过智能体或评分器，可重复，适合 CI。弱点是数据集老化，评分器可能奖励文风而不是正确性。

线上用明确结果信号给真实会话打分（点赞、工单关闭、成交、人工接管）。它反映现实。弱点是流量嘈杂，需要足够量和清晰的成功定义。

成熟团队两者都用。离线套件在发版前抓住已知破坏；线上仪表盘显示改动是否帮到真正在对话的人。

人类反馈与自动化

人工评审贵，但仍是模糊任务的真值。抽样、量表、双盲标注可降低偏差。自动评分器（LLM 当评委、工具调用单测、schema 检查）能放大，但必须用留出集对照人工校准。

不要把单一评委模型当成神谕。如果评委和智能体犯同一类错，分数会很好看，用户照样升级人工。

如何选择评估工具

1. 工作单元 — 单次回复、多步工具调用，还是带记忆的完整对话？
2. 轨迹完整度 — 能否看到提示词、工具输入输出和检索上下文，而不只是最终文本？
3. 结果模型 — 能否接入你自己的成功定义，并按产品或客户分开？
4. 治理 — 谁能把新评分器或新「学习规则」发到生产？
5. 部署 — 仅 SaaS，还是对话日志不能离开 VPC 时的自托管？
6. 闭环 — 产品只报分数，还是分数能改变下一轮会话？

风险与限制

追逐排行榜会训练出刷题智能体。对小黄金集过拟合会掩盖线上失败。全文记录带来隐私和留存义务。LLM 评委可能按供应商策略外泄或用于训练 — 送生产轨迹前先核对数据路径。

常见问题

智能体评估等于模型评估吗？

不等于。模型评估给冻结模型打基准分。智能体评估给整个系统打分：提示词、工具、记忆、策略，以及周围的人工流程。

已有产品分析还要评估吗？

产品分析告诉你流量和流失。评估告诉你智能体是否做对了、为什么。通常两者都要。

评估能否替代微调？

有时更便宜的修复是更好的提示词、一条可检索规则，或关掉某个工具 — 而不是新的权重。评估用来判断哪根杠杆真的推动了结果。

分数该由谁负责？

成功定义要有产品或运营负责人，轨迹和评分器要有工程负责人。没人认领的仪表盘会腐烂。