成本与延迟:把账算清楚
本篇要点:拿到一张模型账单,能判断钱花在输入还是输出、稳定前缀还是每轮重发、大模型还是小模型上,并把预算闸门卡在请求入口。前置文章:《Agent 编排:ReAct、状态机与人在回路》把 ReAct 与图编排搭起来,这一章算清编排带来的调用次数要付多少钱。
为什么需要它
2026 年 7 月,财务把六月的模型账单拍在桌上:4.2 万,比五月涨了 61%。同期日活只涨 9%。
第一反应是有人刷接口。翻了两天网关日志,一个异常调用都没有。真实原因很朴素:五月上了检索增强(RAG),每次请求往上下文里多塞三到六千 token 的文档片段,而那批片段的引用率只有 0.4——四条里三条是废的,废的也按输入计费。
四个月后账单落到 1.1 万。砍掉的那一半靠三件事:把输入变短、让重复前缀真的命中、把简单请求赶去小模型。砍不动的那一半,花在「必须让大模型读完整个上下文」上,那是产品决策,不是工程优化。
这一章要建立的是三个判断:钱花在输入还是输出、花在稳定前缀还是每轮重发、花在大模型还是小模型。三个答案决定你能砍哪一半。
核心概念
输入输出比:先看这个比值正不正常
Token 是大模型计费的最小单位,输入(input tokens)与输出(output tokens)分开计价,单价不同。那次账单的输入输出比是 8.3 : 1,正常对话类应用在 3 : 1 上下。这个比值一眼就不对,说明每次请求都在重发大量不产生价值的内容。
类比寄快递按重量计费:你每次都在箱子里塞一本没人看的说明书,运费照付。
一次请求的输入由四段拼成:
| 组成 | 六月占比 | 优化后 |
|---|---|---|
| 系统提示 + 工具 schema | 31% | 14% |
| 检索片段 | 38% | 22% |
| 对话历史 | 21% | 19% |
| 输出 token | 10% | 45% |
注意最后一行。优化之后输出占了将近一半,不是因为输出变多了,是输入被压下去以后结构变了。只压输入不控输出,做到一半就会撞墙。
反例是只看总 token 不看构成:把检索片段砍到 1k,答案质量崩了,账单只降 15%。
提示缓存:一个字节不一样就等于全不一样
提示缓存(prompt caching)是把请求开头那段稳定内容——系统提示、工具 schema、固定文档——的计算结果缓存起来,命中后这部分按缓存价计费,比全价低。逻辑和浏览器缓存一致,但判定更严格:前缀完全一致才命中。
截至 2026 年 11 月,OpenAI 的 prompt caching 文档写的是「前缀完全一致才命中,工具定义连同顺序都算在前缀里」,命中量从 usage.prompt_tokens_details.cached_tokens 读(prompt caching)。至于多少 token 起才参与缓存,各家改过几轮,别背博客里的数字。
如图 7-1 所示,钱在进入模型之前就分叉了:命中走缓存价,未命中全价重算,工具 schema 与检索片段都压在这一段上。
图 7-1 一次请求的成本流向:前缀是否命中决定输入侧单价
我们踩了两个坑。第一个:系统提示第一行是运维要求加的时间戳,每十秒变一次,前缀在第一行就分叉,后面九千 token 一次都没命中。把它挪到消息末尾之后,命中率当周从 0 跳到 62%,输入侧成本掉了三成。第二个:工具清单从一个 dict 生成,而那个 dict 是 **a, **b 合并出来的,进程重启后顺序会变;顺序一变,整个前缀作废。
反例就是把「当前时间」「用户 ID」「随机 session」放在系统提示开头,这是零命中率最常见的原因。
模型路由:按任务形状分,不按价格表
模型路由(model routing)是按任务特征把请求分给不同尺寸的模型。分界线不能画在价格表上,要画在任务形状上。
我们给 420 条线上真实问题做了标答,让大小两个模型各跑一遍,人工只判「能不能用」。小模型在「查状态、改字段、单轮事实问答」上通过率 91%,大模型 94%;在「跨三份文档做对比、写多步计划」上,小模型掉到 43%。差距不在平均值,在长尾。
规则于是按形状写:意图命中白名单、输入低于 2000 token、不需要跨文档推理,走小模型;其余走大模型。分流比 68 : 32,成本结构立刻变了。
有一种写法明确不建议:先全量打大模型,失败了再降级到小模型重试。听起来稳,实际是把最贵的那次调用当成了探针——灰度那周失败率 7%,等于 7% 的请求付了双份钱。正确顺序是先用便宜的判断,判断不了再升级。
输出侧:max_tokens 是额度,不是保险
max_tokens 限制单次响应的最大生成长度。我们所有请求原来都写 4096,理由是「怕截断」;实际统计里 97% 的响应在 700 token 内结束,设 4096 只是给了模型一个可以啰嗦的额度。改成按场景给上限(分类 64、摘要 400、代码生成 2000)之后,输出掉了 26%。
第二刀更丢人。系统提示里「请详细说明」「请分点展开」这类指令,是三个月前为了让回答看起来丰富加的。实测对满意度没有影响,对账单影响 26%。
反例是以为 max_tokens 只是「防止截断的上限」,于是全站统一配一个很大的值,等于给每次回答预支一笔额度。
闸门:卡在入口,不是卡在报表
预算闸门(budget guard)是在请求进入模型之前判断这次该不该花。最早的监控是每天早上跑一次报表,它有用,但只能告诉你昨天超了,拦不住今天。
现在是三道闸:单请求 token 上限、租户日预算(八成软告警、十成硬截断)、全局小时环比异常(涨幅超 3 倍报警)。
那个「死循环」不是假想。八月有个 Agent 在工具返回空结果时反复重规划,21 分钟循环了 900 多次。单价不高,加起来够我们组一个月咖啡。
动手实践
第一步,按「稳定压前、易变推后」重排消息。
messages = [
{"role": "system", "content": SYSTEM_PROMPT}, # 别塞时间戳
{"role": "system", "content": render_tools(TOOLS)}, # 按 name 排序
{"role": "system", "content": docs_block}, # 同一会话内不变
*history[:-2], # 只带最近若干轮
{"role": "system", "content": f"当前时间:{now()}"}, # 放最后
{"role": "user", "content": question},
]预期输出:稳定会话中 cached_tokens / prompt_tokens > 0.5;持续为 0 说明前缀被污染了。这条指标要上看板,命中率跌破 0.3 自动告警,因为历史上每次下跌都是有人往系统提示里加了动态内容。
第二步,把成本按任务算出来,别只看总额。
# 单价从供应商官方价目表读入(元 / 百万 token),不在代码里写死数字。
# 截至 2026 年 11 月,输入、缓存命中、输出是三个不同的价,按官网价目表取值。
PRICE = load_price_table() # {"small": {"in": .., "cached": .., "out": ..}, ...}
def task_cost(model: str, usage) -> float:
p = PRICE[model]
billed_in = usage.prompt_tokens - usage.cached_tokens
return (billed_in * p["in"] + usage.cached_tokens * p["cached"]
+ usage.completion_tokens * p["out"]) / 1_000_000预期输出:单任务成本约为「输入未命中部分 × 全价 + 命中部分 × 缓存价 + 输出 × 输出价」。同一任务,修好前缀前后能差 30% 以上;这个数才是路由和预算的判断依据,而不是月度总额。
第三步,把闸门写在入口,拒绝就立刻拒绝。
def precheck(tenant_id: str, est_tokens: int) -> bool:
used = redis.get(f"budget:{tenant_id}:{today()}")
if used + est_tokens > HARD_CAP[tenant_id]:
metrics.inc("budget.reject", tenant=tenant_id)
return False # 硬截断,不给「再试一次」的机会
return True预期输出:租户用量到八成时告警群收到一条软提醒,到十成后该租户的请求直接返回 429,日志里 budget.reject 计数按租户增长,不再消耗额度。
第四步,把三件事写进一张表,运维和财务看同一份数字。
| 闸门 / 规则 | 阈值 | 超限动作 |
|---|---|---|
| 单请求 token | 上下文上限减去 max_tokens | 直接拒绝,提示缩短输入 |
| 租户日预算 | 80% / 100% | 软告警 / 硬截断 |
| 全局小时环比 | 3 倍 | 报警并人工确认 |
| 小模型路由 | 白名单 + 输入 < 2000 token + 不跨文档 | 不满足则升级大模型 |
| 缓存命中率 | 0.3 | 自动告警,查前缀污染 |
常见误解
很多人以为流式输出能省钱,其实它只省体感。 流式把首字延迟从 2.4 秒压到 0.6 秒,等待感消失了,token 一个没少。它甚至更贵:开流式之后用户中途打断的比例从 3% 涨到 22%,而被打断的请求,已经生成的 token 照样计费。真要省钱得配两件事——客户端断开时立即 abort 上游,以及把 max_tokens 卡紧。
很多人以为缓存命中率是成本第一指标,其实它更像诊断指标。 命中的那部分如果本来就是该删的冗余,你省的是原本不该花的钱。它还会污染 A/B 实验:同一前缀在同一小时内命中缓存,实验组和对照组拿到的不是同一次计算,延迟指标没法干净地比。现在的土办法是实验流量强制带随机前缀,等于实验期间放弃省钱。
很多人以为工具 schema 不用管,其实它是被忽略的第二大开销。 六月账单拆到最后,它占 2.4k token,排第二。瘦身有四个动作:删掉 description 里的重复说明与长示例(省两成)、参数 description 只留取值约束(省一成半)、合并同族工具成一个带 mode 的(省三成)、低频工具移出默认集按意图加载(省三成以上)。前两个我们做了,省 34%,选错率在 30 条回归用例上测不出差异;第三个试过,mode 传错的比率比原来三个独立工具的误调用加起来还高,退回去了;第四个没做,意图分类器还不够稳。反直觉的一条:description 该长在「什么时候别用」,不该重复「这个参数是什么类型」,后者类型标注已经写清楚了。
小结
- 先算输入输出比,再看输入的四段构成;8.3 : 1 这种比值异常,问题通常在每轮重发的稳定内容。
- 缓存只认完全一致的前缀:动态内容推到末尾,工具数组按 name 排序,命中率跌破 0.3 先查谁加了时间戳。
- 路由按任务形状分,先用便宜的判断再升级;「先大后小重试」等于拿最贵的调用当探针。
max_tokens按场景给,删掉「请详细说明」这类指令,输出能降两成以上。- 闸门卡在入口:单请求上限、租户日预算、全局小时环比,三道一起上;流式省体感不省 token。
回看《Agent 编排:ReAct、状态机与人在回路》:编排层每多一次模型调用,账单上就多一次全额输入。所以成本优化的一半工作在编排设计里,不在提示词里。
相关主题
账算清楚了,还剩一个方向没管:请求里有别人的恶意输入。《安全护栏:注入、越权与数据泄露》讲安全护栏:注入、越权与数据泄露,包括工具越权怎么收口、系统提示怎么不被打出来,以及红队测试怎么排进发布流程。