Skip to content

进阶:企业引入智能体的分期落地 ​

本篇要点:把前 11 章的技术能力收拢成一份能过评审的分期方案——选对场景、量化验收、先把平台立住。 前置文章:《进阶:私有化部署与推理优化》讲把模型放进自己的机房,这一章讲把智能体放进别人的流程。

为什么需要它 ​

先看一个真实的评审结果。12 个候选场景摆上桌,最后只批了 2 个,都限定在只读链路(read-only):内部知识问答、工单初筛与归因分类。第一阶段 8 周、3 名全职工程人员;第二阶段启不启动,看这 8 周的五项指标是否全项达标,未达标不追加预算。

砍掉三分之二的理由只有一个词:失败可回滚(rollbackable)。合同条款比对过了精度那关,没过这一关:法务的判定标准还没结构化,错了没人说得清改哪条。客服退款执行更直接,它是写操作(write),还动了资金。

这和自建项目的手感相反。自己机器上搭一个智能体(Agent,能自己决定调哪个工具、走几步的模型程序),错了重跑,成本是一次 API 调用;放进企业流程,错一次要撤回工单、给客户解释、留档。边界也得说清:智能体是效率工具,不是流程所有者(process owner),审批权、资金处置权、对外承诺权都不交给它。

核心概念 ​

一、失败可回滚性与人工签发 ​

定义:一次错误的影响能在 1 个工作日内由人手工纠正,且不产生资金损失或合规记录;它靠人在回路(human-in-the-loop)落地,高风险动作由自然人签发。

类比:这是「草稿」和「已发送」的区别——同一段输出,在草稿区是效率,在收件箱里是风险。

反例:把「自动回复客户邮件」当只读场景评估。它读的是只读数据,写出去的是不可撤销的动作;评估表只勾了数据权限、没勾后果。另一种假人在回路是「默认同意,30 秒超时放行」。

二、阶段门禁 ​

定义:阶段门禁(gate)是阶段推进的判定条件,写成代码,任一项不达标即阻断,不做加权平均。

整体路径如图 12-1 所示,注意从门禁折回的那条边:不达标的处置是「不追加预算」。

图 12-1 分期推进与门禁的路径

反例:加权评分。完成率 92%、事实错误率 8%、越权 2 次合成 0.78 分,看着「整体尚可」;越权不是能抵扣的分数项,一旦发生,其他项再高也不构成通过理由。

三、平台三件 ​

定义:模型网关(model gateway)统一收口调用、限流、计费与降级;工具注册中心(tool registry)登记可被调用的能力及其权限等级;调用审计(call audit)把每次调用的参数落到日志。

类比:网关是电表,注册中心是设备清单,审计是抄表记录;四个场景各装一块表,账对不平。

反例:「先把场景做起来,平台后面再说」。四套网关等于四套计费口径、四套限流策略、四份对不上的账。

四、ROI 的口径 ​

定义:投资回报率(Return on Investment,ROI)按 24 个月周期计算,净收益 = Σ(月处理量 × 单件人工成本 × 节省比例)− 建设成本 − 运行成本 − 复核成本。

反例:只算模型调用费。预研时算出成本是人工的 18%,加上基础设施分摊与复核工时后升到 74%,差额全在复核环节。

动手实践 ​

第 1 步:用五维准入筛场景 ​

五个维度必须同时成立,处置已写在表里,评审逐条打勾。

判定维度准入标准不满足时的处置
失败可回滚单次错误可在 1 个工作日内人工纠正,无资金或合规后果不立项
人工基线可测现有流程有可统计的工时、件数、错误率基线先补埋点,6 个月后重评
结果可判定输出正误可由规则或抽检判定,不依赖专家主观评分降级为辅助提示功能
数据可得上下文在授权范围内可读,无需跨主体授权不立项
调用频次月均处理量 ≥ 800 件暂缓,固定成本摊不平

按这个口径,12 个场景的分布是:2 个进第一阶段,4 个列为观察(合同条款比对、财务报表差异说明、采购询价比价、客服退款执行),6 个本年度不立项(招聘简历初筛、自动对外邮件回复、生产排程调整、供应商准入审批、代码合并自动批准、员工绩效评语生成),其中 5 个卡在失败不可回滚。

第 2 步:把工具登记成清单 ​

登记项必须含能力描述、输入输出 schema、权限等级、是否需人工确认、调用配额;未登记的工具不允许被编排层调用。

yaml
# tools/registry/customer-refund.yaml
name: customer_refund
description: 为指定订单发起退款,单笔上限 500 元
risk_level: write_high          # read / write_low / write_high
requires_human_confirm: true
idempotency_key: order_id
quota:
  per_thread: 1
  per_day: 200
preconditions:
  - order.status in [paid, shipped]
  - refund.amount <= 500
audit:
  log_prompt: true
  log_tool_args: true
  retention_days: 180

预期输出:requires_human_confirm 与 idempotency_key 被强制要求非空。缺后者时,模型的重试会直接产生重复退款,这一条在实施中已验过。

python
import yaml, sys

REQUIRED = ("name", "risk_level", "requires_human_confirm",
            "idempotency_key", "quota", "audit")

def validate(path: str) -> list[str]:
    entry = yaml.safe_load(open(path, encoding="utf-8"))
    errors = [f"缺少字段 {k}" for k in REQUIRED if k not in entry]
    if entry.get("risk_level") not in ("read", "write_low", "write_high"):
        errors.append(f"risk_level 非法: {entry.get('risk_level')}")
    if entry.get("risk_level") in ("write_low", "write_high") \
            and entry.get("requires_human_confirm") is not True:
        errors.append("写操作必须要求人工确认")
    if entry.get("risk_level") != "read" and not entry.get("idempotency_key"):
        errors.append("非只读工具缺少幂等键")
    conf = entry.get("audit", {})
    if not (conf.get("log_prompt") and conf.get("log_tool_args")):
        errors.append("审计开关未全开")
    return errors

for p in sys.argv[1:]:
    errs = validate(p)
    print(p, "=>", "PASS" if not errs else " | ".join(errs))

运行结果(第二个文件把 requires_human_confirm 改成 false 并删掉幂等键):

text
registry.yaml => PASS
bad.yaml => 缺少字段 idempotency_key | 写操作必须要求人工确认 | 非只读工具缺少幂等键

第 3 步:用五项指标做门禁 ​

POC(Proof of Concept,概念验证)不以「效果良好」结项,五项指标全部量化,逐项签字。

编号指标验收阈值测量方法判定方
A1任务完成率≥ 基线人工完成率的 90%300 条真实历史样本,双人独立标注业务方
A2事实错误率≤ 3%同一批样本逐条核对引用来源业务方 + 质量
A3单次任务成本≤ 人工单件成本的 60%token 消耗 + 基础设施分摊 + 复核工时财务
A4P95 端到端时延≤ 45 秒50 并发压测,3 轮取均值技术
A5越权调用次数0红队用例 80 条,含提示注入与工具滥用安全

五项里没有「用户满意度」:它在这一阶段无法与「回答看起来像样」区分开,第二阶段起用点赞率和人工介入率做代理。A2 抽检比例提前约定:首月全量,第二月起 20%,连续两个月达标降到 10%,下调须质量负责人书面确认。

python
import os

PINNED = os.environ.get("MODEL_VERSION", "vendor-x-2026-09")   # 升级需走变更单

def gate(r: dict) -> tuple[str, list[str]]:
    """阶段门禁:任一项不达标即阻断,不做加权平均。"""
    checks = {
        "completion": r["completion_rate"] >= 0.90,
        "fact_error": r["fact_error_rate"] <= 0.03,
        "cost":       r["cost_per_task"] <= r["human_cost"] * 0.60,
        "latency":    r["p95_ms"] <= 45_000,
        "authz":      r["illegal_tool_calls"] == 0,
    }
    failed = [k for k, ok in checks.items() if not ok]
    return ("block" if failed else "pass"), failed

r1 = {"completion_rate": 0.93, "fact_error_rate": 0.021, "cost_per_task": 3.6,
      "human_cost": 6.5, "p95_ms": 38_000, "illegal_tool_calls": 0}
r2 = {**r1, "fact_error_rate": 0.055, "illegal_tool_calls": 2}

print("模型版本:", PINNED)
print("首测   :", gate(r1))
print("复测   :", gate(r2))

运行结果:

text
模型版本: vendor-x-2026-09
首测   : ('pass', [])
复测   : ('block', ['fact_error', 'authz'])

PINNED 对应风险登记里的版本漂移。模型换版在日志上极难识别:它不报错,只产生「看起来也说得通」的错误答案。做法是网关层记录每次调用的版本标识,回归集按版本分组比对。

第 4 步:把账算成两个数 ​

工单初筛:月处理 3,200 件,单件人工成本 6.5 元,POC 实测节省 55%;建设成本 24 万元(8 周 3 人),年运行 3.6 万元,复核按 20% 抽检折算 1.2 万元/年。

python
BUILD = 240_000          # 8 周 × 3 人,含平台层投入
RUN_Y, REVIEW_Y = 36_000, 12_000
VOLUME, UNIT_COST, CUT = 3_200, 6.5, 0.55

month_save = VOLUME * UNIT_COST * CUT
month_fix  = (RUN_Y + REVIEW_Y) / 12

def payback(monthly_net: float) -> float:
    return BUILD / monthly_net

print(f"月节省             : {month_save:>10,.0f} 元")
print(f"月运行 + 月复核    : {month_fix:>10,.0f} 元")
print(f"粗口径回收期       : {payback(month_save):>10.1f} 个月")
print(f"全成本口径回收期   : {payback(month_save - month_fix):>10.1f} 个月")

for cut in (0.55, 0.80):
    s = VOLUME * UNIT_COST * cut
    print(f"节省比例 {cut:.0%} -> 粗口径 {BUILD/s:5.1f} 个月, 全成本 {BUILD/(s-month_fix):5.1f} 个月")
print(f"24 个月累计净收益 (全成本口径): {24*(month_save-month_fix)-BUILD:>10,.0f} 元")

运行结果:

text
月节省             :     11,440 元
月运行 + 月复核    :      4,000 元
粗口径回收期       :       21.0 个月
全成本口径回收期   :       32.3 个月
节省比例 55% -> 粗口径  21.0 个月, 全成本  32.3 个月
节省比例 80% -> 粗口径  14.4 个月, 全成本  19.0 个月
24 个月累计净收益 (全成本口径):    -61,440 元

同一组输入,两个口径给出 21 个月和 32 个月。报告写的 22 个月是粗口径取整的结果;把运行和复核摊进月成本,24 个月累计净收益还是负的。假设提到 80% 能压到 14 个月,但 POC 实测不支持。汇报口径不写清,这 11 个月的差会在预算评审上被追问;「单件人工成本」含不含管理分摊、「节省比例」算不算返工减少,都能让回收期再差 6 至 9 个月。

第 5 步:按周排出第一阶段 ​

周次工作内容可验收产出卡点
第 1 周补埋点、定稿审计字段基线报表能跑出工时与件数原流程无埋点会延期两周
第 2–3 周接模型网关,打通限流与计费全量流量经网关,账能对上计费口径与财务不一致
第 4–5 周上线注册中心,登记两项只读工具未登记工具无法被调用存量硬编码调用需逐个清理
第 6 周300 条样本双人标注,A1/A2 首测首测报告 + 分歧样本清单标注人力被业务抽走
第 7 周80 条红队用例跑通并进 CIA5 结果,0 次越权用例只覆盖提示注入
第 8 周五项指标汇总评审签字版验收报告边际达标被当成达标

第 4–5 周的卡点值得单说。注册中心上线后最常见的情况不是「没人用」,而是「有两套并行」:新登记的走注册中心,历史硬编码的直连还在跑,审计日志看不全。清理存量不在计划里,实际是逐个模块 grep 出 SDK 直接调用点,我们做了三天。

风险登记至少覆盖五条:工具权限过宽(强制分级 + 写操作人工确认)、提示注入经知识库进入指令流(检索结果与指令分区,注入用例纳入 A5)、循环调用造成成本失控(按会话线程 thread 限 token 与调用次数)、版本漂移(锁版本 + 回归集)、合规审查滞后(合规前置参与筛选)。组织上设三个角色、不新增编制:业务场景负责人决定做什么,平台负责人决定怎么接,合规联络人决定能不能做;合规的否决是终局否决。

第 6 步:把未决事项写成待办 ​

四项按「谁在什么时点前给结论」写。多智能体编排的边界未验证:业界公开数据里多智能体架构的 token 消耗约为普通对话的 15 倍,本企业尚无实测。MCP(Model Context Protocol,模型上下文协议)的稳定性待观察:截至 2026 年 11 月最新版本为 2026-07-28,相对 2025-11-25 版取消了协议级会话与 initialize 握手,改为无状态请求,跨调用状态须由服务端签发显式句柄,见 MCP 规范 changelog。输出错误的责任归属未在制度层面明确,当前靠人工签发把责任人固定在自然人身上;跨主体数据授权未打通,涉及合作方数据的场景本年度不推进。

红队口径参照 OWASP GenAI 的 LLM 风险清单:LLM06:2025 Excessive Agency(过度代理)对应工具权限过宽,LLM10:2025 Unbounded Consumption(无界消耗)对应成本失控;截至 2026 年 11 月公开版本仍是 2025 版。供应商能力与价格以公开资料为限,签约前需重新询价。

常见误解 ​

误解一:POC「效果良好」就可以结项。 其实是五项指标逐项签字,没有一项是主观评价:编得很顺的答案和正确答案,抽检时观感差异极小。

误解二:场景做多了自然就有平台。 恰好相反,平台层优先级高于场景数量扩张,第一阶段就要落进预算,只做网关、注册中心、审计三件;等四个场景各长出一套接口再收口,改造高于新建。

误解三:错误率足够低就可以让智能体自主执行。 错误率是概率,回滚性是结构,两个都过才叫可上线。越权的验收线是 0 次而不是某个比例。

小结 ​

  • 筛场景看失败可回滚,不看技术先进性:12 个候选只批 2 个。
  • 验收写成代码能判的门禁,全项否决;五项指标没有满意度,A3 必须含复核工时。
  • 平台三件先于场景扩张:网关、注册中心、审计;未登记的工具不允许被调用。
  • 账要写清口径:同一组输入,粗口径 21 个月、全成本 32 个月,24 个月净收益仍为负。
  • 《进阶:私有化部署与推理优化》解决模型跑在哪,这一章解决谁签字、什么时候停。

相关主题 ​

《进阶:企业引入智能体的分期落地》是本类目的收尾篇,所以这一节讲读完之后手上剩下什么:一份能被独立复核的验收报告、一份未登记即无效的工具清单、一本口径写明的账。回头翻前十一篇,每篇都在为这三样提供证据。真要往下走,先在自己业务里挑一个只读场景,用第 1 步那张五维表打一遍勾。