Skip to content

评估与可观测性:效果怎么证明 ​

本篇要点:能把「效果变好了」拆成评估集、校准、trace、实验、门禁五件可验收的事,并给出别人能在评审会上追问的口径。前置文章:《安全护栏:注入、越权与数据泄露》把安全护栏立起来,这一章回答「改动之后,怎么证明它没把效果和安全一起弄坏」。

为什么需要它 ​

2026 年 9 月,一次提示词调整把合同要素抽取里「付款期限」的准确率从 94% 打到 71%。发现它的不是告警,是业务方在群里问了一句「这几份合同的付款期限怎么都是空的」。中间隔了两个星期。

那两周里看板一切正常:成功率 99.6%,平均延迟 1.8 秒,没有任何指标会因为这个字段变差而抖动。

当时的体量是三个线上场景(工单分诊、合同要素抽取、内部知识问答),日均任务 11400 次,平均每次任务触发 6.3 次模型调用和 2.1 次工具调用,数据采集窗口 2026 年 8 月 1 日到 10 月 31 日。测量能力停在这一层:

维度当时的数据采集口径
人工抽检覆盖率0.8%每周 90 条,抽检人 2 名
评估集规模47 条三人手工编写,未定期更新
线上反馈采集率11%点赞/点踩按钮点击率
版本变更后回归无固定流程依赖人工试用
变更回滚率24%21 次变更里 5 次 24 小时内回滚

47 条用例对日均 11400 次任务,覆盖率 0.4%。自动评分的口径也没校准:同一个模型给输出打分,与人工判定的一致率只有 61%,长回答上还系统性偏高。21 次变更全部走「直接发布 + 观察」,5 次在 24 小时内回滚。

更隐蔽的症状是:离线分数上升的版本,线上完成率两次下降却定位不了差异——没有完整调用链,两边数字对不上。

所以建设目标不是「提升效果」,是让变化可被测量、可被归因、可被验收。按前者立项,交出来是一堆看起来在变好的数字;按后者,交出来是一套机制。

核心概念 ​

离线评估集:一条用例是一个任务的判据 ​

离线评估集(offline evaluation set)是一组带判定标准的任务样本,用来在发布前回答「这个版本比上一个版本好还是差」。类比单元测试:区别在于单元测试的断言是确定的,而智能体的输出是自然语言,判据要么写成可执行的规则,要么配一条参考输出。

反例就是那 47 条:凭印象攒的,季度评审跑一次,谁也不知道它代表什么分布。

正确的做法是从生产 trace 里分层抽样(stratified sampling),维度取场景(3 个)、任务复杂度(按单任务工具调用次数分 1–2 次、3–5 次、6 次以上)、结果类型(成功、部分完成、拒答、兜底)。每层按线上真实占比配额,难例池保底 15%、不从占比里出;重复请求先去重;个人信息替换成同长度占位符。首批 800 条,300 条人工标注参考输出,500 条只标判定标准,每季度按新增失败样本补 10%。

代价要提前认:800 条标注约 12 人月,是单项投入里最大的一笔;参考输出过时就要重标。抽样口径也必须提前写死,否则三期之后一定变成争论。截至 2026 年 11 月,LangSmith 的评估概念文档仍把离线评估定位为「部署前测试」,对象是带参考输出的数据集用例,并建议从每个关键组件各挑 5–10 条人工样例起步,先定义「好」再谈测量(LangSmith 文档)。这个顺序值得照抄:先建集,再建指标。

LLM-as-judge:先用一致率证明它能打分 ​

LLM-as-judge 是让一个大模型给另一个模型的输出打分。它能不能用,取决于一致率(agreement rate):judge 的判定与人工判定在同一批样本上的一致程度。

校准有三个前置条件。judge 与被评模型分离,避免同源自偏好;评分维度拆到字段级——是否完成任务、工具选择是否正确、参数是否正确、引用是否支撑结论;每个维度用 200 条人工标注样本算一致率,低于 80% 的维度不进入自动评分,退回人工。

二值维度要换统计量:人和模型都判 pass 的比例若高达 85%,朴素一致率会被基线抬高,看起来「很准」。门槛写成 Cohen's kappa(科恩kappa)≥ 0.6,字段级抽取按字段统计 F1。

反例是那次 61%:同一个模型给自己打分,长回答上系统性偏高。这一条最危险,因为看板上是个漂亮的分数,不表现为错误。

代价是校准约 4 人月,换 judge 模型或改评分提示词都要重跑;judge 的评分提示词本身也要版本管理与回归,它在措辞微调后会像线上提示词一样漂移。

全链路 trace:一次任务是一条树 ​

trace 是一次任务从头到尾的调用链,span 是链上的一个操作节点。一次任务含多次模型调用与工具调用,只记日志的话,「离线分升、线上完成率降」这种矛盾永远无法解释。

采集标准统一到 OpenTelemetry(简称 OTel):模型调用、工具调用、检索、路由各自成 span,trace_id 贯穿整个任务;属性命名走 OTel 的 GenAI 语义约定,不自造字段。截至 2026 年 11 月,该约定已覆盖模型调用 span、Agent span、指标与事件,并单独提供了 MCP 相关属性,具体版本以 OpenTelemetry 语义约定 当前发布标签为准。收益是存储与展示解耦,换后端不改业务代码;代价是约定仍在演进,字段会变,需要在采集层做版本映射。

反例是头部采样率压到 10% 省钱:故障那次请求恰好没留下,trace 里只剩「正常请求都正常」。

任务级 A/B:分流单位是任务,不是请求 ​

A/B 实验是把流量分给两个版本比较指标。智能体这里有个特殊约束:分流单位必须是任务 ID(thread_id),不能是请求 ID。一次任务含 6 次左右模型调用,按请求切流会让同一任务的不同步骤落进不同组,组内污染与组间污染同时出现。分流在入口网关完成,同一 thread_id 的后续调用继承首次分组,会话中途不重新随机。

核心指标四项:任务完成率、人工介入率、平均任务时长、单任务成本。最小样本量按基线完成率与 2 个百分点的最小可检测效应(minimum detectable effect)计算,每组约 2600 个任务、约 11 天,期间不能叠加其它变更。

回归门禁:把「观察」换成阻断 ​

回归门禁(regression gate)是每次变更自动跑评估集全量,与上一次基线逐条 diff,命中阈值就阻断发布。三类硬性阻断独立生效:核心场景完成率下降超过 2 个百分点、任一安全用例失败、单任务成本上升超过 15%。9 月那次事件已经说明,「变更后观察」不算控制措施。

代价是全量回归单次约 47 分钟、380 万 token,CI 资源池要单独配额。

五个概念不是并列的,如图 9-1 所示。

图 9-1 评估体系的四条支柱与失败样本回流

如图 9-1 所示,trace 是原料,评估集是标尺,judge 是自动化手段,A/B 与门禁是决策出口。缺任何一环,其余环节的结论都不可解释。

动手实践 ​

第一步,配好采集层的采样策略,它决定失败样本留不留得住。

yaml
# otel-collector 片段:失败与长耗时任务全量保留,其余按 15% 采样
processors:
  tail_sampling:
    decision_wait: 30s
    policies:
      - name: keep-errors
        type: status_code
        status_code: {status_codes: [ERROR]}
      - name: keep-slow-tasks
        type: latency
        latency: {threshold_ms: 45000}   # 对应 P99 任务时长
      - name: baseline
        type: probabilistic
        probabilistic: {sampling_percentage: 15}

预期输出:错误率 3% 的场景下,trace 存储量约为全量的 19%,但 P99 长尾与全部失败任务 100% 可见。改回头部采样(head sampling)则相反。

第二步,算 judge 的一致率。不要只报百分比,二值维度同时报 kappa。

python
from sklearn.metrics import cohen_kappa_score

# 200 条人工标注样本;judge 与人工各自判「是否完成任务」
human = [1, 1, 0, 1, 0, 1, 1, 1, 0, 0]   # 实际使用 200 条
judge = [1, 1, 1, 0, 0, 1, 1, 0, 0, 0]

raw = sum(h == j for h, j in zip(human, judge)) / len(human)
kappa = cohen_kappa_score(human, judge)
print(f"raw={raw:.2f} kappa={kappa:.2f}")
# 门槛:kappa >= 0.6 才进入自动评分,raw 高而 kappa 低说明基线把一致率抬上去了

预期输出:raw=0.70 kappa=0.40。含义是「70% 看着能用,剔除随机一致后只有 0.40」,该维度退回人工,不是把阈值调到 0.35。

第三步,把门禁写成函数,让三类阻断独立生效。

python
GATES = {
    "completion_drop": -0.02,   # 完成率相对基线下降超过 2 个百分点
    "safety_fail":     0,       # 安全用例失败条数上限
    "cost_increase":   0.15,    # 单任务成本相对基线涨幅上限
}

def evaluate_gate(base: dict, cur: dict, safety_fails: int) -> tuple[bool, list[str]]:
    reasons = []
    if cur["completion_rate"] - base["completion_rate"] < GATES["completion_drop"]:
        reasons.append(f"completion {base['completion_rate']:.3f} -> {cur['completion_rate']:.3f}")
    if safety_fails > GATES["safety_fail"]:
        reasons.append(f"safety_fail={safety_fails}")
    if cur["cost_per_task"] / base["cost_per_task"] - 1 > GATES["cost_increase"]:
        reasons.append(f"cost {base['cost_per_task']:.4f} -> {cur['cost_per_task']:.4f}")
    return (len(reasons) == 0, reasons)

预期输出:某次提示词调整后返回 (False, ['completion 0.913 -> 0.884', 'cost 0.0127 -> 0.0151'])。注意这两条是同时命中的——完成率跌了 2.9 个百分点,成本涨了 18.9%,任一条都足以拦下。

第四步,按六项指标验收,不用「看板数量」计量。

编号指标口径验收值
A1trace 完整率含模型与工具 span 且可还原输入输出的任务占比≥ 98%
A2评估集规模与覆盖条数 / 场景 × 复杂度分层数≥ 800 条 / 3 × 4
A3judge 一致率各字段评分与人工判定一致条数占比每维度 ≥ 80%
A4回归门禁覆盖触发回归的变更类型占比提示词、工具、模型三类 100%
A5故障归因时长从发现问题到定位根因的 P50≤ 4 小时(现状 2.3 天)
A6变更回滚率回滚次数 / 变更次数≤ 5%(现状 24%)

A5 与 A6 是仅有的两项反映业务收益的指标,前四项是手段指标。整套建设三期 5 个月、34 人月,另有 trace 存储月均约 1.4 万元、回归 token 月均约 0.9 万元,走运维预算。

常见误解 ​

很多人以为评估就是加个看板,其实是先有标尺才有刻度。 没有评估集与校准的看板只能显示调用次数、成功率、延迟,这三项在 9 月那次事故里全是绿的。

很多人以为 judge 和人工一致率到 80% 就能用,其实要按维度分别设门槛。 二值维度看 kappa ≥ 0.6,字段级抽取看每个字段的 F1,低于门槛的维度退回人工,不做跨维度加权平均——平均值会把一个烂维度藏起来。

很多人以为抽检可以替代双人标注,其实 0.8% 的覆盖率养不住判定标准。 每周 90 条、2 名抽检人,每人每天只看 9 条,判定标准会在两周内自发漂移,而漂移本身没有机制能发现。可用的做法是三层控制:双人独立标注、分歧第三方裁定,分歧率超过 15% 的维度整批重标;每季度锚点复标,随机取 50 条历史样本混进新批次重标,不一致率超过 10% 说明标准漂了;界面强制写判定理由。代价是 800 条工时从 12 人月推到近 20 人月,预算只够单人标注加 20% 复核,更现实的选择是缩到 600 条。

小结 ​

  • 评估集按场景 × 复杂度 × 结果类型分层,从生产 trace 抽,难例池保底 15%,季度补 10%;首批 800 条是量级参考,不是标准答案。
  • judge 的准入门槛是一致率,二值维度用 kappa ≥ 0.6、字段级用 F1,未过门槛的维度退回人工。
  • trace 用 OTel GenAI 语义约定,尾部采样保住全部失败与长耗时任务;头部采样会把故障样本一起省掉。
  • A/B 以 thread_id 分流,四项指标两组各 2600 任务、约 11 天,期间不叠加变更。
  • 门禁三类阻断独立生效,验收只看 A5 归因时长与 A6 回滚率。这套体系保证变化被看见、被归因,不保证效果本身变好——效果取决于提示词、检索与工具设计。

回看《安全护栏:注入、越权与数据泄露》:护栏里的安全用例就是这一章门禁的第二类阻断条件,没有那一批用例,safety_fail 这一行永远是 0。

相关主题 ​

到这里,智能体的工具、知识、成本、安全、评估都有了各自的尺度。但真实业务里经常需要几个智能体分工——一个查资料、一个写方案、一个审校。《多智能体:分工、协商与失败模式》讲多智能体:分工、协商与失败模式,重点不是怎么搭起来,而是它什么时候会让成本和失败率同时翻倍。