进阶:企业引入智能体的分期落地
本篇要点:把前 11 章的技术能力收拢成一份能过评审的分期方案——选对场景、量化验收、先把平台立住。 前置文章:《进阶:私有化部署与推理优化》讲把模型放进自己的机房,这一章讲把智能体放进别人的流程。
为什么需要它
先看一个真实的评审结果。12 个候选场景摆上桌,最后只批了 2 个,都限定在只读链路(read-only):内部知识问答、工单初筛与归因分类。第一阶段 8 周、3 名全职工程人员;第二阶段启不启动,看这 8 周的五项指标是否全项达标,未达标不追加预算。
砍掉三分之二的理由只有一个词:失败可回滚(rollbackable)。合同条款比对过了精度那关,没过这一关:法务的判定标准还没结构化,错了没人说得清改哪条。客服退款执行更直接,它是写操作(write),还动了资金。
这和自建项目的手感相反。自己机器上搭一个智能体(Agent,能自己决定调哪个工具、走几步的模型程序),错了重跑,成本是一次 API 调用;放进企业流程,错一次要撤回工单、给客户解释、留档。边界也得说清:智能体是效率工具,不是流程所有者(process owner),审批权、资金处置权、对外承诺权都不交给它。
核心概念
一、失败可回滚性与人工签发
定义:一次错误的影响能在 1 个工作日内由人手工纠正,且不产生资金损失或合规记录;它靠人在回路(human-in-the-loop)落地,高风险动作由自然人签发。
类比:这是「草稿」和「已发送」的区别——同一段输出,在草稿区是效率,在收件箱里是风险。
反例:把「自动回复客户邮件」当只读场景评估。它读的是只读数据,写出去的是不可撤销的动作;评估表只勾了数据权限、没勾后果。另一种假人在回路是「默认同意,30 秒超时放行」。
二、阶段门禁
定义:阶段门禁(gate)是阶段推进的判定条件,写成代码,任一项不达标即阻断,不做加权平均。
整体路径如图 12-1 所示,注意从门禁折回的那条边:不达标的处置是「不追加预算」。
图 12-1 分期推进与门禁的路径
反例:加权评分。完成率 92%、事实错误率 8%、越权 2 次合成 0.78 分,看着「整体尚可」;越权不是能抵扣的分数项,一旦发生,其他项再高也不构成通过理由。
三、平台三件
定义:模型网关(model gateway)统一收口调用、限流、计费与降级;工具注册中心(tool registry)登记可被调用的能力及其权限等级;调用审计(call audit)把每次调用的参数落到日志。
类比:网关是电表,注册中心是设备清单,审计是抄表记录;四个场景各装一块表,账对不平。
反例:「先把场景做起来,平台后面再说」。四套网关等于四套计费口径、四套限流策略、四份对不上的账。
四、ROI 的口径
定义:投资回报率(Return on Investment,ROI)按 24 个月周期计算,净收益 = Σ(月处理量 × 单件人工成本 × 节省比例)− 建设成本 − 运行成本 − 复核成本。
反例:只算模型调用费。预研时算出成本是人工的 18%,加上基础设施分摊与复核工时后升到 74%,差额全在复核环节。
动手实践
第 1 步:用五维准入筛场景
五个维度必须同时成立,处置已写在表里,评审逐条打勾。
| 判定维度 | 准入标准 | 不满足时的处置 |
|---|---|---|
| 失败可回滚 | 单次错误可在 1 个工作日内人工纠正,无资金或合规后果 | 不立项 |
| 人工基线可测 | 现有流程有可统计的工时、件数、错误率基线 | 先补埋点,6 个月后重评 |
| 结果可判定 | 输出正误可由规则或抽检判定,不依赖专家主观评分 | 降级为辅助提示功能 |
| 数据可得 | 上下文在授权范围内可读,无需跨主体授权 | 不立项 |
| 调用频次 | 月均处理量 ≥ 800 件 | 暂缓,固定成本摊不平 |
按这个口径,12 个场景的分布是:2 个进第一阶段,4 个列为观察(合同条款比对、财务报表差异说明、采购询价比价、客服退款执行),6 个本年度不立项(招聘简历初筛、自动对外邮件回复、生产排程调整、供应商准入审批、代码合并自动批准、员工绩效评语生成),其中 5 个卡在失败不可回滚。
第 2 步:把工具登记成清单
登记项必须含能力描述、输入输出 schema、权限等级、是否需人工确认、调用配额;未登记的工具不允许被编排层调用。
# tools/registry/customer-refund.yaml
name: customer_refund
description: 为指定订单发起退款,单笔上限 500 元
risk_level: write_high # read / write_low / write_high
requires_human_confirm: true
idempotency_key: order_id
quota:
per_thread: 1
per_day: 200
preconditions:
- order.status in [paid, shipped]
- refund.amount <= 500
audit:
log_prompt: true
log_tool_args: true
retention_days: 180预期输出:requires_human_confirm 与 idempotency_key 被强制要求非空。缺后者时,模型的重试会直接产生重复退款,这一条在实施中已验过。
import yaml, sys
REQUIRED = ("name", "risk_level", "requires_human_confirm",
"idempotency_key", "quota", "audit")
def validate(path: str) -> list[str]:
entry = yaml.safe_load(open(path, encoding="utf-8"))
errors = [f"缺少字段 {k}" for k in REQUIRED if k not in entry]
if entry.get("risk_level") not in ("read", "write_low", "write_high"):
errors.append(f"risk_level 非法: {entry.get('risk_level')}")
if entry.get("risk_level") in ("write_low", "write_high") \
and entry.get("requires_human_confirm") is not True:
errors.append("写操作必须要求人工确认")
if entry.get("risk_level") != "read" and not entry.get("idempotency_key"):
errors.append("非只读工具缺少幂等键")
conf = entry.get("audit", {})
if not (conf.get("log_prompt") and conf.get("log_tool_args")):
errors.append("审计开关未全开")
return errors
for p in sys.argv[1:]:
errs = validate(p)
print(p, "=>", "PASS" if not errs else " | ".join(errs))运行结果(第二个文件把 requires_human_confirm 改成 false 并删掉幂等键):
registry.yaml => PASS
bad.yaml => 缺少字段 idempotency_key | 写操作必须要求人工确认 | 非只读工具缺少幂等键第 3 步:用五项指标做门禁
POC(Proof of Concept,概念验证)不以「效果良好」结项,五项指标全部量化,逐项签字。
| 编号 | 指标 | 验收阈值 | 测量方法 | 判定方 |
|---|---|---|---|---|
| A1 | 任务完成率 | ≥ 基线人工完成率的 90% | 300 条真实历史样本,双人独立标注 | 业务方 |
| A2 | 事实错误率 | ≤ 3% | 同一批样本逐条核对引用来源 | 业务方 + 质量 |
| A3 | 单次任务成本 | ≤ 人工单件成本的 60% | token 消耗 + 基础设施分摊 + 复核工时 | 财务 |
| A4 | P95 端到端时延 | ≤ 45 秒 | 50 并发压测,3 轮取均值 | 技术 |
| A5 | 越权调用次数 | 0 | 红队用例 80 条,含提示注入与工具滥用 | 安全 |
五项里没有「用户满意度」:它在这一阶段无法与「回答看起来像样」区分开,第二阶段起用点赞率和人工介入率做代理。A2 抽检比例提前约定:首月全量,第二月起 20%,连续两个月达标降到 10%,下调须质量负责人书面确认。
import os
PINNED = os.environ.get("MODEL_VERSION", "vendor-x-2026-09") # 升级需走变更单
def gate(r: dict) -> tuple[str, list[str]]:
"""阶段门禁:任一项不达标即阻断,不做加权平均。"""
checks = {
"completion": r["completion_rate"] >= 0.90,
"fact_error": r["fact_error_rate"] <= 0.03,
"cost": r["cost_per_task"] <= r["human_cost"] * 0.60,
"latency": r["p95_ms"] <= 45_000,
"authz": r["illegal_tool_calls"] == 0,
}
failed = [k for k, ok in checks.items() if not ok]
return ("block" if failed else "pass"), failed
r1 = {"completion_rate": 0.93, "fact_error_rate": 0.021, "cost_per_task": 3.6,
"human_cost": 6.5, "p95_ms": 38_000, "illegal_tool_calls": 0}
r2 = {**r1, "fact_error_rate": 0.055, "illegal_tool_calls": 2}
print("模型版本:", PINNED)
print("首测 :", gate(r1))
print("复测 :", gate(r2))运行结果:
模型版本: vendor-x-2026-09
首测 : ('pass', [])
复测 : ('block', ['fact_error', 'authz'])PINNED 对应风险登记里的版本漂移。模型换版在日志上极难识别:它不报错,只产生「看起来也说得通」的错误答案。做法是网关层记录每次调用的版本标识,回归集按版本分组比对。
第 4 步:把账算成两个数
工单初筛:月处理 3,200 件,单件人工成本 6.5 元,POC 实测节省 55%;建设成本 24 万元(8 周 3 人),年运行 3.6 万元,复核按 20% 抽检折算 1.2 万元/年。
BUILD = 240_000 # 8 周 × 3 人,含平台层投入
RUN_Y, REVIEW_Y = 36_000, 12_000
VOLUME, UNIT_COST, CUT = 3_200, 6.5, 0.55
month_save = VOLUME * UNIT_COST * CUT
month_fix = (RUN_Y + REVIEW_Y) / 12
def payback(monthly_net: float) -> float:
return BUILD / monthly_net
print(f"月节省 : {month_save:>10,.0f} 元")
print(f"月运行 + 月复核 : {month_fix:>10,.0f} 元")
print(f"粗口径回收期 : {payback(month_save):>10.1f} 个月")
print(f"全成本口径回收期 : {payback(month_save - month_fix):>10.1f} 个月")
for cut in (0.55, 0.80):
s = VOLUME * UNIT_COST * cut
print(f"节省比例 {cut:.0%} -> 粗口径 {BUILD/s:5.1f} 个月, 全成本 {BUILD/(s-month_fix):5.1f} 个月")
print(f"24 个月累计净收益 (全成本口径): {24*(month_save-month_fix)-BUILD:>10,.0f} 元")运行结果:
月节省 : 11,440 元
月运行 + 月复核 : 4,000 元
粗口径回收期 : 21.0 个月
全成本口径回收期 : 32.3 个月
节省比例 55% -> 粗口径 21.0 个月, 全成本 32.3 个月
节省比例 80% -> 粗口径 14.4 个月, 全成本 19.0 个月
24 个月累计净收益 (全成本口径): -61,440 元同一组输入,两个口径给出 21 个月和 32 个月。报告写的 22 个月是粗口径取整的结果;把运行和复核摊进月成本,24 个月累计净收益还是负的。假设提到 80% 能压到 14 个月,但 POC 实测不支持。汇报口径不写清,这 11 个月的差会在预算评审上被追问;「单件人工成本」含不含管理分摊、「节省比例」算不算返工减少,都能让回收期再差 6 至 9 个月。
第 5 步:按周排出第一阶段
| 周次 | 工作内容 | 可验收产出 | 卡点 |
|---|---|---|---|
| 第 1 周 | 补埋点、定稿审计字段 | 基线报表能跑出工时与件数 | 原流程无埋点会延期两周 |
| 第 2–3 周 | 接模型网关,打通限流与计费 | 全量流量经网关,账能对上 | 计费口径与财务不一致 |
| 第 4–5 周 | 上线注册中心,登记两项只读工具 | 未登记工具无法被调用 | 存量硬编码调用需逐个清理 |
| 第 6 周 | 300 条样本双人标注,A1/A2 首测 | 首测报告 + 分歧样本清单 | 标注人力被业务抽走 |
| 第 7 周 | 80 条红队用例跑通并进 CI | A5 结果,0 次越权 | 用例只覆盖提示注入 |
| 第 8 周 | 五项指标汇总评审 | 签字版验收报告 | 边际达标被当成达标 |
第 4–5 周的卡点值得单说。注册中心上线后最常见的情况不是「没人用」,而是「有两套并行」:新登记的走注册中心,历史硬编码的直连还在跑,审计日志看不全。清理存量不在计划里,实际是逐个模块 grep 出 SDK 直接调用点,我们做了三天。
风险登记至少覆盖五条:工具权限过宽(强制分级 + 写操作人工确认)、提示注入经知识库进入指令流(检索结果与指令分区,注入用例纳入 A5)、循环调用造成成本失控(按会话线程 thread 限 token 与调用次数)、版本漂移(锁版本 + 回归集)、合规审查滞后(合规前置参与筛选)。组织上设三个角色、不新增编制:业务场景负责人决定做什么,平台负责人决定怎么接,合规联络人决定能不能做;合规的否决是终局否决。
第 6 步:把未决事项写成待办
四项按「谁在什么时点前给结论」写。多智能体编排的边界未验证:业界公开数据里多智能体架构的 token 消耗约为普通对话的 15 倍,本企业尚无实测。MCP(Model Context Protocol,模型上下文协议)的稳定性待观察:截至 2026 年 11 月最新版本为 2026-07-28,相对 2025-11-25 版取消了协议级会话与 initialize 握手,改为无状态请求,跨调用状态须由服务端签发显式句柄,见 MCP 规范 changelog。输出错误的责任归属未在制度层面明确,当前靠人工签发把责任人固定在自然人身上;跨主体数据授权未打通,涉及合作方数据的场景本年度不推进。
红队口径参照 OWASP GenAI 的 LLM 风险清单:LLM06:2025 Excessive Agency(过度代理)对应工具权限过宽,LLM10:2025 Unbounded Consumption(无界消耗)对应成本失控;截至 2026 年 11 月公开版本仍是 2025 版。供应商能力与价格以公开资料为限,签约前需重新询价。
常见误解
误解一:POC「效果良好」就可以结项。 其实是五项指标逐项签字,没有一项是主观评价:编得很顺的答案和正确答案,抽检时观感差异极小。
误解二:场景做多了自然就有平台。 恰好相反,平台层优先级高于场景数量扩张,第一阶段就要落进预算,只做网关、注册中心、审计三件;等四个场景各长出一套接口再收口,改造高于新建。
误解三:错误率足够低就可以让智能体自主执行。 错误率是概率,回滚性是结构,两个都过才叫可上线。越权的验收线是 0 次而不是某个比例。
小结
- 筛场景看失败可回滚,不看技术先进性:12 个候选只批 2 个。
- 验收写成代码能判的门禁,全项否决;五项指标没有满意度,A3 必须含复核工时。
- 平台三件先于场景扩张:网关、注册中心、审计;未登记的工具不允许被调用。
- 账要写清口径:同一组输入,粗口径 21 个月、全成本 32 个月,24 个月净收益仍为负。
- 《进阶:私有化部署与推理优化》解决模型跑在哪,这一章解决谁签字、什么时候停。
相关主题
《进阶:企业引入智能体的分期落地》是本类目的收尾篇,所以这一节讲读完之后手上剩下什么:一份能被独立复核的验收报告、一份未登记即无效的工具清单、一本口径写明的账。回头翻前十一篇,每篇都在为这三样提供证据。真要往下走,先在自己业务里挑一个只读场景,用第 1 步那张五维表打一遍勾。