变更治理:灰度、开关与故障复盘
本篇要点:能判断一次变更该用流量权重还是按身份切分,并为它配好回滚手段与复盘口径。 前置文章:《治理落地:Service Mesh 与应用内 SDK》解决治理能力装在 Mesh 还是应用内 SDK 上;这一章处理这些能力最常被用到的场合——把一次变更安全地放到生产,再在出问题时退得回来。
为什么需要它
19:58,变更单上写着「仅调整灰度权重 5% → 50%,无代码变更,风险低」。20:14,事故开始。20:41,恢复。六十个服务的调用链在这 27 分钟里一起劣化,最后靠人工补单 41 笔收尾。
先把结论放前面:新版本没有 bug。v2 已经在生产跑了四天,没有一次异常退出;它的 P99 是 1.4 秒,比 v1 的 380 毫秒高,也超过 1 秒的 perTryTimeout,只是 5% 的流量把超时重试压成了监控上看不见的量。出问题的是变更本身——同一份合并请求(merge request,MR)里改了两个字段,其中一个在评审时被扫过去了。
apiVersion: networking.istio.io/v1
kind: VirtualService
metadata:
name: order-api
spec:
hosts: [order-api]
http:
- route:
- destination: {host: order-api, subset: v1}
weight: 50 # 变更点:5 -> 50
- destination: {host: order-api, subset: v2}
weight: 50
timeout: 3s
retries:
attempts: 3 # 变更点:1 -> 3,变更单里没提
perTryTimeout: 1s预期输出:kubectl apply 返回 virtualservice.networking.istio.io/order-api configured,没有报错。再用 istioctl proxy-config route deploy/order-api -o json 查看,两个 destination 的 weight 各为 50,retryPolicy 为 {"attempts":3,"perTryTimeout":"1s"}。两个变更点落在同一个 http 块里,diff 只隔七行;而变更单摘要只提取了 weight 一个字段。
后果是这样连起来的,如图 11-1:v2 的 P99 是 1.4 秒,高于 1 秒的 perTryTimeout;5% 时绝对请求量小,超时重试没有形成可见放大;放到 50%,v2 上每三个请求就有一个超时,重试再落回同一个 subset,把 v2 的并发乘了四倍——attempts: 3 连同首试共四次。
图 11-1 权重、超时与重试叠加后的放大路径
这张图是事后画的,现场用了十九分钟才把它猜出来。中间有一段代价不小的弯路:第一反应是把权重回滚到 0,这动作重新走了一次变更流程,六分钟后生效,5xx 从 12% 降到 8% 就卡住了。8% 是已经堆在队列里的存量请求在消化,与 v2 无关;真正的证据是 v2 的 CPU 在权重降到 5% 之后还挂在 90%,因为重试风暴自带惯性。
还有一个容易漏算的延迟:5xx 告警第一次响是 20:21,看上去只比故障晚七分钟。但告警表达式是五分钟窗口的速率加 for: 30s,20:14 的故障最快只能在 20:19:45 触发,而指标抓取间隔 15 秒。这「七分钟」里有一半是窗口表达式自己算出来的。
核心概念
灰度:按比例放量,只是版本迁移的工具
灰度发布(canary release,金丝雀发布)把一小部分流量切到新版本,观察指标后再逐步放大。名字来自矿井里用鸟试毒。类比是新品先给 5% 的客人试吃,没人倒下再全面上架。
它在版本迁移场景下成立:老版本逐步下线,新版本承接全部流量,关注的是「新版本能不能扛住这么多请求」。反例是把同一个手法用在功能验证上——这次改的是重试次数,它对 50% 的流量生效,对那 50% 里的每个请求生效,重试后又乘一次,流量涨十倍,压力涨的不是十倍。
影响面:取决于改动维度是否随流量线性缩放
影响面(blast radius)指一次变更出错时能波及多少用户和多少服务。它不由权重百分比决定,而由「你改的那个维度会不会随流量放大」决定。
权重调小、副本数增加、超时放宽,这些维度大致随流量线性缩放;重试次数、连接池上限、熔断阈值不是,它们会与既有流量相乘。判断方法是问一句:这个参数在流量翻倍时,被放大的倍数是一次方还是两次方。
功能开关:按身份切分,不按流量比例切分
功能开关(feature flag)是一个能被快速翻转的业务分支判断。它要求切分维度是身份——请求头(Header)、Cookie、租户 ID、用户 ID,而不是百分比。
类比是门禁按会员卡放行,不是按进店人流放行。反例是用权重做新计价灰度:同一个用户刷新页面可能一次命中新价、一次命中旧价,客诉比功能缺陷更难解释。
截至 2026 年 11 月,OpenFeature 是 CNCF 的孵化项目(状态见 openfeature.dev),它把「开关求值」抽象成厂商无关的接口,下层接任意 provider,自建与商业实现都能换。好处不是功能多,而是换实现时业务代码不动。
变更分级:让不同影响面走不同窗口
变更分级(change tier)是把变更按影响面分成几档,各自绑定允许的时间窗与回滚要求。
| 级别 | 判定标准 | 允许窗口 | 回滚要求 |
|---|---|---|---|
| L1 参数级 | 单服务、单字段、无拓扑变化(如副本数) | 工作日 10:00–17:00 | 平台一键回滚,≤ 1 分钟 |
| L2 结构级 | 涉及超时、重试、限流、连接池 | 工作日 10:00–16:00,且需第二名工程师复核 | 变更前存快照,回滚需演练过 |
| L3 拓扑级 | 涉及路由规则、subset、网关、注册中心 | 仅周二/周四 14:00 前,且灰度必须能按身份切分 | 双人签字 + 回滚剧本预演 |
表里最容易被当成形式的是 L2 的「回滚需演练过」。它要求演练的不是变更,是回滚——在一个没有流量的服务上把回滚跑一遍,看要多久、会不会报错。第一次练的时候,八个服务里有三个的回滚脚本是坏的。
复盘:产出「要改的」和「不改的」
故障复盘(postmortem)的价值不在于把过程写清楚,而在于产出两类可执行的东西:系统改造项(有 owner、有验证方式、有截止时间),以及明确写下「这个风险接受,理由是……」。第二类更重要,它挡住后续无数次「要不要也加个校验」的追问。
动手实践
第一步:先确认放大来自哪里
先只改 weight,确认 attempts 仍是 1,再单独改 attempts。同一份 MR 里放两个结构级变更,等于把两次实验合成一次,出事时无法归因。确认放大源头的入口在数据面配置:
# 确认 503 来自上游连接池耗尽,而不是 v2 的代码异常
istioctl proxy-config cluster deploy/order-api \
--fqdn order-api.default.svc.cluster.local -o json \
| jq '.[] | {name, circuitBreakers, maxRequestsPerConnection}'预期输出:circuitBreakers 字段为空对象,maxRequestsPerConnection 未设置。也就是说连接池上限从未配过,用的是默认值,而默认值在这套流量下没起到任何限流作用。这条后来单独开了改造项。
第二步:把功能灰度改成按身份切分
// OpenFeature Java SDK,provider 在启动时注册,此处略
FeatureClient client = OpenFeatureAPI.getInstance().getClient("checkout");
MutableContext ctx = new MutableContext()
.setTargetingKey(userId)
.add("tenant", tenantId)
.add("plan", planCode);
// 第三个参数是默认值:求值失败时不允许把用户挡在门外
boolean newPricing = client.getBooleanValue("checkout.new-pricing", false, ctx);预期输出:同一个 userId 连续十次调用返回同一个值;不存在的 flag 名返回 false,provider 未就绪时也返回 false。默认值永远填「旧行为」——开关系统自己也会挂,挂的时候应该退回老路径,而不是退回谁也不知道会怎样的状态。
这里有一条边界要划清:功能开关不能当配置中心用。它的语义是「一个可以快速翻转的业务分支」,不是「一堆需要版本管理的运行时参数」。把超时、线程池大小、连接数塞进开关系统,得到的是一个更难回滚的配置中心。
第三步:给回滚准备快照
事故当天恢复靠的不是定位到根因,而是把 attempts 改回 1,这一步花了九分钟。原因很蠢:没有回滚手段。那次变更在配置中心推了四次(前两次是 YAML 缩进报错),而配置中心只保留最近十个历史版本;同一时段还有两个服务在正常发布,等要去翻历史版本时,变更前那版已经被挤出去了,最后是从一张 Grafana 截图里手敲三个字段回去的。
一个能改配置、但不能回配置的系统,等于没有回滚能力。做法是每次变更按变更单号存一份不可变快照,快照内容包括完整的 VirtualService、DestinationRule 与副本数,回滚时按快照整份替换,不依赖配置中心的历史列表长度。
常见误解
以为灰度百分比越大,样本越可信。 实际相反的地方在于样本结构:v2 只有 2 个 pod,5% 流量刚好让连接池利用率停在 60% 上下,监控上非常健康。样本放大十倍,同一个服务从「健康」直接跳到「过载」,中间没有过渡区间,也没有指标提前提示。低流量下验证的是功能正确性,不是容量正确性,这两件事要分开设验收。
以为回滚就是「再改一次」。 再改一次依赖三件事:知道上一版是什么、上一版还能被找到、改回去的动作被演练过。这次事故里三件事缺了两件。变更冻结窗口的价值也不在于减少变更数量,而在于让「变更」这件事有成本,逼着人把三个小改动合并成一个想清楚的变更——如果那张单子上写的是「调整权重 + 调整重试」,签字的人大概会多看一眼。
以为告警延迟是监控不准。 更多时候是窗口表达式与抓取间隔的算术结果:五分钟窗口加 for: 30s,加 15 秒抓取间隔,故障最快也要五分多钟才能触发。评估告警时效时应该按这个下界算,而不是按「感觉上应该很快」。
小结
- 灰度权重控制的是流量比例,不是影响面;影响面取决于改动维度是否随流量线性缩放。版本迁移用权重,功能验证用按身份切分的开关。
- 重试次数是乘法项:
attempts: 3连同首试共四次,会把下游并发放大到四倍,而它在评审界面上和权重只隔七行。 - 功能开关的默认值永远填旧行为,且不能兼作配置中心。
- 回滚能力 = 能找到上一版 + 能整份替换 + 演练过。配置中心的历史版本数不是回滚方案。
- 复盘只产出两类东西:有 owner 的改造项,和明确接受的风险。《治理落地:Service Mesh 与应用内 SDK》的治理能力再全,也要落到这一章的分级与演练上才算可用。
相关主题
这一章治理的是「一次变更」,相关文章把视角放大到一个组织:60 个服务、7 个团队,怎么用四期、166 人月把流量治理、可观测与变更分级建起来,以及立项评审时该拿哪六项指标说话。