进阶:私有化部署与推理优化
本篇要点:能按权重与 KV cache 两笔账算出单卡的真实并发上限,说清张量并行对吞吐和延迟的相反影响,并为选型给出可辩护的理由。前置文章:《成本与延迟:把账算清楚》把 API 按 token 计费的账算清楚了,这一章把同一笔账挪到自有显卡上。
为什么需要它
2025 年 11 月,客户要求模型不出机房。我们按「两张 A100 80G 跑 70B」做了预算,评估报告写了 6 页,结论是通过。
上线第三天,服务在下午两点开始周期性拒绝请求。日志里没有报错,只有一行被刷出来的警告:Sequence group ... is preempted。GPU 显存占用 98%,KV cache 满了。
我按权重算了三天,一直对不上账。后来才想明白一件事:权重只决定你能不能启动,KV cache 才决定你能不能用。 这两件事的算法完全不同,而预算里只算了前一件。
版本坐标:截至 2026 年 11 月,vLLM 主线是 0.33.x、SGLang 是 0.5.2x 这一档,下面提到的参数名以这个时期的文档为准,再往后可能变。查当前版本看 vLLM 发布页 与 SGLang 发布页,参数语义看各自文档里的 engine arguments 一节。
核心概念
两本账:权重决定启动,KV cache 决定并发
量化(quantization)是把权重和激活压到更低精度。70B 的 FP16 权重需要 140G,两张 80G 卡装不下;用 AWQ 压到 4-bit 之后是 35G,一张卡就能跑。我们选它就是为这个。
KV cache(键值缓存)是推理时保存每个 token 的键值中间结果,避免重复计算。它的开销按序列长度线性增长,和权重的算法完全不同:
2 × 层数 × KV head 数 × head_dim × 序列长度 × 精度字节
70B 按 80 层、8 个 KV head、head_dim 128 算,单个 token 的 KV 是 2 × 80 × 8 × 128 × 2 = 327,680 字节,约 0.31 MB。一条 8k 上下文就是 2.5 GB,一条 24k 的长合同是 7.5 GB。
一张 80G 卡留 72G 给推理:权重 35G,CUDA graph 与激活峰值吃掉 12G 上下,剩下 25G 全给 KV cache。按 8k 算能放 10 条,看着还行;可真实流量是「每请求带一份 6k 到 24k 的合同正文」,长尾一进来,同时能跑的序列数掉到 3 到 4 条。所以「并发只有 4」不是配置写错了,是这个负载本来就只能跑 4 条。权重从 140G 压到 35G 省下的 105G,被 KV cache 一口吃掉了。
图 11-1 单卡显存切分与长上下文对并发的影响
如图 11-1 所示,权重只是第一块。后来我们开了 FP8 KV cache,单个 token 的 KV 占用减半,同样 25G 预算能放下的序列数翻了接近一倍,混合负载下的稳定并发从 4 回到 11。这是整件事里性价比最高的一次改动,比换卡便宜得多。
反例是默认「量化了就省显存」。截至 2026 年 11 月,vLLM 量化文档里 FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF 这一串说的都是权重与激活,KV cache 的精度是另一套开关,FP8 KV cache 要单独打开。不开,KV 就是 FP16。
张量并行:吞吐和延迟是两个方向
张量并行(tensor parallelism,TP)是把一个模型按层内权重切到多张卡上,每层计算完做一次 all-reduce 同步。我们从 TP=1 改成 TP=2,吞吐确实涨了 1.6 倍,但 P99 从 2.1 秒涨到 3.4 秒。
原因有两处。all-reduce 是同步开销,跟 batch 大小无关,batch 小的时候这笔开销摊不薄;而卡间互联是 NVLink 还是 PCIe,结果差一个数量级——同一批机器,PCIe 版本上的 TP=2 比单卡还慢。
这是容量规划里最典型的错误:用吞吐需求推导出并行度,再用并行度去满足延迟需求。这两个方向不能倒过来。低并发时的延迟由单次前向和通信开销决定,加卡不解决它。
启动参数:默认值不是安全值
gpu_memory_utilization 默认 0.9,容易被当成「已经留了 10% 余量」。启动日志里有两行值得每次部署都读一遍:
INFO ... Initial free memory 79.15 GiB, total memory 79.25 GiB
INFO ... Available KV cache memory: 46.32 GiB预期输出:两行都会打印。第一行是卡上真的有多少,第二行才是你能用的,差额被权重、激活峰值、CUDA graph 抓取的显存、通信 buffer 一起吃掉了。这个差额不是固定比例,随模型、max_num_seqs、是否开 CUDA graph 而变,所以 0.9 调不调没有普适答案,得看两行差值你还剩多少。
更隐蔽的是 max_model_len。我们把它从 8192 调到 32768,重启后显存占用没变,以为没事。跑到第三天下午,一批长文档进来,KV cache 分配不到连续块,触发 preemption,请求被反复换入换出,P99 直接飙到 40 秒。它不影响启动时的显存,但它是 KV cache 分配的上界,调大等于把引信拉长。改这个参数必须同步调低 max_num_seqs,或者把长上下文请求单独拆一个池子。
选型:看硬件矩阵,不看跑分文章
两个项目都在高频迭代,功能重叠很大,网上对比文章多半过时。只说实测过的差异:
| 维度 | vLLM | SGLang |
|---|---|---|
| 通用模型覆盖 | 广,架构成熟度不一 | 广,偏主流系列 |
| 前缀复用 | prefix caching | RadixAttention 路线,Agent 场景更省 |
| 量化算子成熟度 | FP8/AWQ/GPTQ 走得多 | FP8 路线为主 |
| 国产卡 | 昇腾/MetaX 等插件可用 | 昇腾几档已列,其余进行中 |
| 踩过的坑 | 长上下文 preemption | 部分量化组合缺算子 |
vLLM 在标准 OpenAI 兼容服务、多硬件后端上更省心,硬件插件列表里已有华为昇腾、MetaX、Apple Silicon、Google TPU、Intel Gaudi 等(清单以 vLLM 硬件支持文档 为准)。SGLang 在 Agent 类负载上更顺手,尤其是大量前缀复用和结构化输出;它的官方硬件表里 NVIDIA、AMD、华为昇腾几档有明确标注,寒武纪 MLU、海光 DCU、沐曦标着 integration in progress(见 SGLang 安装文档)。
那个「进行中」要当真。2026 年 10 月我们试过寒武纪那条路径,能起服务,量化算子没跟上,最后退回 FP16 才跑通。
反例是两个框架同时上生产。有半年时间我们同时维护两套,理由是「按场景选最优」,结果是监控口径不一致、告警规则写两遍、权重格式备两份、升级窗口互相牵制。省下的性能差异不够付多出来的运维人力。除非有专门的推理平台团队,选一个,把另一个留在压测环境里。
国产卡:能用和能用于生产是两件事
昇腾这条线在 2026 年下半年进展明显,vLLM 插件和 SGLang 都有官方路径,FP16 和部分量化组合能跑。但同一个模型在昇腾上的算子覆盖和 A100 不是一个水平,遇到冷门结构会掉回 eager 模式,吞吐直接腰斩。
迁移成本也不是「换个镜像」。同一份提示词在不同后端上的 tokenizer 行为、注意力实现、量化误差分布都不同,输出会有可观测差异:我们的评估集在 A100 上通过率 91%,迁到昇腾上重跑是 87%。这 4 个点不是 bug,是数值差异,只能接受或者重新调。
动手实践
第一步,先算 KV cache,再决定买几张卡。
# 显存估算的最小可用公式。别信经验系数,按自己的模型参数算。
def kv_cache_bytes(layers, kv_heads, head_dim, seq_len, concurrency, dtype_bytes=2):
return 2 * layers * kv_heads * head_dim * seq_len * concurrency * dtype_bytes
# 70B(80 层 / 8 KV head / head_dim 128)在 8k 上下文、32 并发下:
print(kv_cache_bytes(80, 8, 128, 8192, 32) / 1024**3)预期输出:约 80.0——单位是 GB。这才是真正的开销,不是权重。同一公式把 dtype_bytes 改成 1(FP8 KV cache)就是 40.0,正好是「并发翻倍」的来源。
第二步,压测两个点,别只报峰值吞吐。
# 子命令与参数名以 vLLM 官方 benchmark 文档为准,见
# https://docs.vllm.ai/en/latest/contributing/benchmarks.html
vllm bench serve \
--backend openai-chat \
--model /models/Qwen-72B-AWQ \
--endpoint /v1/chat/completions \
--dataset-name hf --dataset-path ./contracts-6k \
--num-prompts 400 --max-concurrency 1预期输出关注四行:Request throughput (req/s) 是并发 1 时的交互体验上限,Mean TTFT / P99 TTFT 说明 prefill 快不快,Mean TPOT / P99 TPOT 是解码每 token 耗时。把 --max-concurrency 改成 32 再跑一遍,两个结果一起看才有意义——只报并发 32 的吞吐,那是个用户永远碰不到的状态。
第三步,把预算写成表,每行留一个判断。
| 项目 | 计算方式 | 我们的数 |
|---|---|---|
| 权重 | 参数量 × 精度字节 | 35G(AWQ 4-bit) |
| 激活与 CUDA graph | 压测时观察峰值 | 约 12G |
| KV cache 预算 | 卡容量 − 上面两项 | 约 25G |
| 单条 24k 序列 | KV/token × 序列长度 | 7.5G |
| 长文档稳定并发 | 预算 ÷ 单条占用 | 3 条(开 FP8 后 6 条) |
第四步,把验收数字写死。至少三个:并发 1 时的 TTFT、目标峰值并发下的 P99 TPOT、长上下文场景下的稳定并发数。我们第一版验收报告只写了「支持 70B 模型」,这句话在故障复盘时没有任何用处。
常见误解
很多人以为 4-bit 量化能省一半以上显存,其实它只压权重。 权重从 140G 到 35G 是真的,但服务能不能用取决于 KV cache;长上下文场景里,KV 才是主体。先开 FP8 KV cache,再谈换卡。
很多人以为加卡就能提并发、降延迟,其实 TP 在小 batch 下会拖慢 P99。 每层 all-reduce 是同步开销,PCIe 互联上尤其明显,同一批机器 TP=2 可能比单卡还慢。加卡买的是吞吐,不是单请求延迟。
很多人以为 max_model_len 只是个上限,调大没有代价,其实它决定 KV 分配的上界。 调到 32768 启动时显存不变,长文档一来就 preemption,P99 到 40 秒。改它必须同步调低 max_num_seqs,或者把长上下文拆池。
很多人以为自建一定比 API 便宜,其实要看利用率。 日均 token 没到「一张卡常年 60% 利用率」这个量级,经济账算不过来;贵的不是显卡,是能读推理框架源码的人。合规只到「数据不出境」而非「数据不出机房」的,云厂商专属实例就够。模型还在频繁换的也不用自建——换一次基座,量化重做、评估重跑、显存重算,我们这套流程里是 6 人周。
小结
- 权重决定能不能启动,KV cache 决定能跑几条并发。单 token KV 由层数、KV head、head_dim 与精度决定,70B 约 0.31 MB,8k 序列 2.5G、24k 序列 7.5G;先算 KV,再买卡。
- FP8 KV cache 让单 token 占用减半,是性价比最高的一次改动。
- TP 提升吞吐但抬高小 batch 下的 P99;并行度不能反过来当延迟手段用。
- 启动日志的
Initial free memory与Available KV cache memory两行必读,max_model_len调大要配套降并发。 - 验收写死三个数字:并发 1 的 TTFT、峰值并发的 P99 TPOT、长上下文的稳定并发数。
回看《成本与延迟:把账算清楚》:那一章把一次调用的钱算成 token 单价,这一章把它换算成显存小时。两笔账的共同点是先拆结构再谈优化——不拆,砍的都是不该砍的地方。
相关主题
私有化解决的是「模型在哪跑」,还剩一个组织问题:这套东西怎么在一个真实企业里分期落地、怎么定验收、谁来签字。《进阶:企业引入智能体的分期落地》讲企业引入智能体的分期落地,把技术选型换成 ROI、POC 与风险登记的语言。