评估与可观测性:效果怎么证明
本篇要点:能把「效果变好了」拆成评估集、校准、trace、实验、门禁五件可验收的事,并给出别人能在评审会上追问的口径。前置文章:《安全护栏:注入、越权与数据泄露》把安全护栏立起来,这一章回答「改动之后,怎么证明它没把效果和安全一起弄坏」。
为什么需要它
2026 年 9 月,一次提示词调整把合同要素抽取里「付款期限」的准确率从 94% 打到 71%。发现它的不是告警,是业务方在群里问了一句「这几份合同的付款期限怎么都是空的」。中间隔了两个星期。
那两周里看板一切正常:成功率 99.6%,平均延迟 1.8 秒,没有任何指标会因为这个字段变差而抖动。
当时的体量是三个线上场景(工单分诊、合同要素抽取、内部知识问答),日均任务 11400 次,平均每次任务触发 6.3 次模型调用和 2.1 次工具调用,数据采集窗口 2026 年 8 月 1 日到 10 月 31 日。测量能力停在这一层:
| 维度 | 当时的数据 | 采集口径 |
|---|---|---|
| 人工抽检覆盖率 | 0.8% | 每周 90 条,抽检人 2 名 |
| 评估集规模 | 47 条 | 三人手工编写,未定期更新 |
| 线上反馈采集率 | 11% | 点赞/点踩按钮点击率 |
| 版本变更后回归 | 无固定流程 | 依赖人工试用 |
| 变更回滚率 | 24% | 21 次变更里 5 次 24 小时内回滚 |
47 条用例对日均 11400 次任务,覆盖率 0.4%。自动评分的口径也没校准:同一个模型给输出打分,与人工判定的一致率只有 61%,长回答上还系统性偏高。21 次变更全部走「直接发布 + 观察」,5 次在 24 小时内回滚。
更隐蔽的症状是:离线分数上升的版本,线上完成率两次下降却定位不了差异——没有完整调用链,两边数字对不上。
所以建设目标不是「提升效果」,是让变化可被测量、可被归因、可被验收。按前者立项,交出来是一堆看起来在变好的数字;按后者,交出来是一套机制。
核心概念
离线评估集:一条用例是一个任务的判据
离线评估集(offline evaluation set)是一组带判定标准的任务样本,用来在发布前回答「这个版本比上一个版本好还是差」。类比单元测试:区别在于单元测试的断言是确定的,而智能体的输出是自然语言,判据要么写成可执行的规则,要么配一条参考输出。
反例就是那 47 条:凭印象攒的,季度评审跑一次,谁也不知道它代表什么分布。
正确的做法是从生产 trace 里分层抽样(stratified sampling),维度取场景(3 个)、任务复杂度(按单任务工具调用次数分 1–2 次、3–5 次、6 次以上)、结果类型(成功、部分完成、拒答、兜底)。每层按线上真实占比配额,难例池保底 15%、不从占比里出;重复请求先去重;个人信息替换成同长度占位符。首批 800 条,300 条人工标注参考输出,500 条只标判定标准,每季度按新增失败样本补 10%。
代价要提前认:800 条标注约 12 人月,是单项投入里最大的一笔;参考输出过时就要重标。抽样口径也必须提前写死,否则三期之后一定变成争论。截至 2026 年 11 月,LangSmith 的评估概念文档仍把离线评估定位为「部署前测试」,对象是带参考输出的数据集用例,并建议从每个关键组件各挑 5–10 条人工样例起步,先定义「好」再谈测量(LangSmith 文档)。这个顺序值得照抄:先建集,再建指标。
LLM-as-judge:先用一致率证明它能打分
LLM-as-judge 是让一个大模型给另一个模型的输出打分。它能不能用,取决于一致率(agreement rate):judge 的判定与人工判定在同一批样本上的一致程度。
校准有三个前置条件。judge 与被评模型分离,避免同源自偏好;评分维度拆到字段级——是否完成任务、工具选择是否正确、参数是否正确、引用是否支撑结论;每个维度用 200 条人工标注样本算一致率,低于 80% 的维度不进入自动评分,退回人工。
二值维度要换统计量:人和模型都判 pass 的比例若高达 85%,朴素一致率会被基线抬高,看起来「很准」。门槛写成 Cohen's kappa(科恩kappa)≥ 0.6,字段级抽取按字段统计 F1。
反例是那次 61%:同一个模型给自己打分,长回答上系统性偏高。这一条最危险,因为看板上是个漂亮的分数,不表现为错误。
代价是校准约 4 人月,换 judge 模型或改评分提示词都要重跑;judge 的评分提示词本身也要版本管理与回归,它在措辞微调后会像线上提示词一样漂移。
全链路 trace:一次任务是一条树
trace 是一次任务从头到尾的调用链,span 是链上的一个操作节点。一次任务含多次模型调用与工具调用,只记日志的话,「离线分升、线上完成率降」这种矛盾永远无法解释。
采集标准统一到 OpenTelemetry(简称 OTel):模型调用、工具调用、检索、路由各自成 span,trace_id 贯穿整个任务;属性命名走 OTel 的 GenAI 语义约定,不自造字段。截至 2026 年 11 月,该约定已覆盖模型调用 span、Agent span、指标与事件,并单独提供了 MCP 相关属性,具体版本以 OpenTelemetry 语义约定 当前发布标签为准。收益是存储与展示解耦,换后端不改业务代码;代价是约定仍在演进,字段会变,需要在采集层做版本映射。
反例是头部采样率压到 10% 省钱:故障那次请求恰好没留下,trace 里只剩「正常请求都正常」。
任务级 A/B:分流单位是任务,不是请求
A/B 实验是把流量分给两个版本比较指标。智能体这里有个特殊约束:分流单位必须是任务 ID(thread_id),不能是请求 ID。一次任务含 6 次左右模型调用,按请求切流会让同一任务的不同步骤落进不同组,组内污染与组间污染同时出现。分流在入口网关完成,同一 thread_id 的后续调用继承首次分组,会话中途不重新随机。
核心指标四项:任务完成率、人工介入率、平均任务时长、单任务成本。最小样本量按基线完成率与 2 个百分点的最小可检测效应(minimum detectable effect)计算,每组约 2600 个任务、约 11 天,期间不能叠加其它变更。
回归门禁:把「观察」换成阻断
回归门禁(regression gate)是每次变更自动跑评估集全量,与上一次基线逐条 diff,命中阈值就阻断发布。三类硬性阻断独立生效:核心场景完成率下降超过 2 个百分点、任一安全用例失败、单任务成本上升超过 15%。9 月那次事件已经说明,「变更后观察」不算控制措施。
代价是全量回归单次约 47 分钟、380 万 token,CI 资源池要单独配额。
五个概念不是并列的,如图 9-1 所示。
图 9-1 评估体系的四条支柱与失败样本回流
如图 9-1 所示,trace 是原料,评估集是标尺,judge 是自动化手段,A/B 与门禁是决策出口。缺任何一环,其余环节的结论都不可解释。
动手实践
第一步,配好采集层的采样策略,它决定失败样本留不留得住。
# otel-collector 片段:失败与长耗时任务全量保留,其余按 15% 采样
processors:
tail_sampling:
decision_wait: 30s
policies:
- name: keep-errors
type: status_code
status_code: {status_codes: [ERROR]}
- name: keep-slow-tasks
type: latency
latency: {threshold_ms: 45000} # 对应 P99 任务时长
- name: baseline
type: probabilistic
probabilistic: {sampling_percentage: 15}预期输出:错误率 3% 的场景下,trace 存储量约为全量的 19%,但 P99 长尾与全部失败任务 100% 可见。改回头部采样(head sampling)则相反。
第二步,算 judge 的一致率。不要只报百分比,二值维度同时报 kappa。
from sklearn.metrics import cohen_kappa_score
# 200 条人工标注样本;judge 与人工各自判「是否完成任务」
human = [1, 1, 0, 1, 0, 1, 1, 1, 0, 0] # 实际使用 200 条
judge = [1, 1, 1, 0, 0, 1, 1, 0, 0, 0]
raw = sum(h == j for h, j in zip(human, judge)) / len(human)
kappa = cohen_kappa_score(human, judge)
print(f"raw={raw:.2f} kappa={kappa:.2f}")
# 门槛:kappa >= 0.6 才进入自动评分,raw 高而 kappa 低说明基线把一致率抬上去了预期输出:raw=0.70 kappa=0.40。含义是「70% 看着能用,剔除随机一致后只有 0.40」,该维度退回人工,不是把阈值调到 0.35。
第三步,把门禁写成函数,让三类阻断独立生效。
GATES = {
"completion_drop": -0.02, # 完成率相对基线下降超过 2 个百分点
"safety_fail": 0, # 安全用例失败条数上限
"cost_increase": 0.15, # 单任务成本相对基线涨幅上限
}
def evaluate_gate(base: dict, cur: dict, safety_fails: int) -> tuple[bool, list[str]]:
reasons = []
if cur["completion_rate"] - base["completion_rate"] < GATES["completion_drop"]:
reasons.append(f"completion {base['completion_rate']:.3f} -> {cur['completion_rate']:.3f}")
if safety_fails > GATES["safety_fail"]:
reasons.append(f"safety_fail={safety_fails}")
if cur["cost_per_task"] / base["cost_per_task"] - 1 > GATES["cost_increase"]:
reasons.append(f"cost {base['cost_per_task']:.4f} -> {cur['cost_per_task']:.4f}")
return (len(reasons) == 0, reasons)预期输出:某次提示词调整后返回 (False, ['completion 0.913 -> 0.884', 'cost 0.0127 -> 0.0151'])。注意这两条是同时命中的——完成率跌了 2.9 个百分点,成本涨了 18.9%,任一条都足以拦下。
第四步,按六项指标验收,不用「看板数量」计量。
| 编号 | 指标 | 口径 | 验收值 |
|---|---|---|---|
| A1 | trace 完整率 | 含模型与工具 span 且可还原输入输出的任务占比 | ≥ 98% |
| A2 | 评估集规模与覆盖 | 条数 / 场景 × 复杂度分层数 | ≥ 800 条 / 3 × 4 |
| A3 | judge 一致率 | 各字段评分与人工判定一致条数占比 | 每维度 ≥ 80% |
| A4 | 回归门禁覆盖 | 触发回归的变更类型占比 | 提示词、工具、模型三类 100% |
| A5 | 故障归因时长 | 从发现问题到定位根因的 P50 | ≤ 4 小时(现状 2.3 天) |
| A6 | 变更回滚率 | 回滚次数 / 变更次数 | ≤ 5%(现状 24%) |
A5 与 A6 是仅有的两项反映业务收益的指标,前四项是手段指标。整套建设三期 5 个月、34 人月,另有 trace 存储月均约 1.4 万元、回归 token 月均约 0.9 万元,走运维预算。
常见误解
很多人以为评估就是加个看板,其实是先有标尺才有刻度。 没有评估集与校准的看板只能显示调用次数、成功率、延迟,这三项在 9 月那次事故里全是绿的。
很多人以为 judge 和人工一致率到 80% 就能用,其实要按维度分别设门槛。 二值维度看 kappa ≥ 0.6,字段级抽取看每个字段的 F1,低于门槛的维度退回人工,不做跨维度加权平均——平均值会把一个烂维度藏起来。
很多人以为抽检可以替代双人标注,其实 0.8% 的覆盖率养不住判定标准。 每周 90 条、2 名抽检人,每人每天只看 9 条,判定标准会在两周内自发漂移,而漂移本身没有机制能发现。可用的做法是三层控制:双人独立标注、分歧第三方裁定,分歧率超过 15% 的维度整批重标;每季度锚点复标,随机取 50 条历史样本混进新批次重标,不一致率超过 10% 说明标准漂了;界面强制写判定理由。代价是 800 条工时从 12 人月推到近 20 人月,预算只够单人标注加 20% 复核,更现实的选择是缩到 600 条。
小结
- 评估集按场景 × 复杂度 × 结果类型分层,从生产 trace 抽,难例池保底 15%,季度补 10%;首批 800 条是量级参考,不是标准答案。
- judge 的准入门槛是一致率,二值维度用 kappa ≥ 0.6、字段级用 F1,未过门槛的维度退回人工。
- trace 用 OTel GenAI 语义约定,尾部采样保住全部失败与长耗时任务;头部采样会把故障样本一起省掉。
- A/B 以 thread_id 分流,四项指标两组各 2600 任务、约 11 天,期间不叠加变更。
- 门禁三类阻断独立生效,验收只看 A5 归因时长与 A6 回滚率。这套体系保证变化被看见、被归因,不保证效果本身变好——效果取决于提示词、检索与工具设计。
回看《安全护栏:注入、越权与数据泄露》:护栏里的安全用例就是这一章门禁的第二类阻断条件,没有那一批用例,safety_fail 这一行永远是 0。
相关主题
到这里,智能体的工具、知识、成本、安全、评估都有了各自的尺度。但真实业务里经常需要几个智能体分工——一个查资料、一个写方案、一个审校。《多智能体:分工、协商与失败模式》讲多智能体:分工、协商与失败模式,重点不是怎么搭起来,而是它什么时候会让成本和失败率同时翻倍。