渐进式交付:金丝雀与自动回滚
本篇要点:把「一次性换掉全部副本」改成「按比例放量、用指标判断、坏了自己退回去」。前置文章:[《GitOps:Argo CD 与声明式部署》](/guide/cicd/gitops-argocd.html)把部署变成了一个 commit,这一章要给这个 commit 加上刹车和倒车。
一、为什么需要它
一个日均两百万请求的商品服务,2025 年 11 月做了一次「小改动」:商品详情接口里加了一个字段,数据来自新接入的推荐服务。改动合并、镜像构建、kubectl set image,四十秒内八个副本全部换完。
第 90 秒开始,P99 从 210 毫秒跳到 3.4 秒。原因不是新代码有 bug,是新代码调用的下游推荐服务只有 3 个副本,承受不住八分之一个商品服务的全部流量,在 40 秒内被打到超时,超时又触发重试,重试把并发乘了三倍。
回滚发生在第 19 分钟。这 19 分钟里,八分之七的时间里服务是坏的,损失可以算,但真正的问题是:判断「这次发布有没有问题」的那 40 秒里,没有人在看指标。
滚动更新(RollingUpdate)常被当成安全机制,它确实不会让服务整体消失。但它保证的是「副本数不为零」,不是「新版本是好的」。Kubernetes 的滚动更新按 maxUnavailable 和 maxSurge 前进,健康检查只回答「进程能不能起来」,不回答「业务指标有没有变坏」。上面这个例子里,新 Pod 的 readiness 探针全绿,因为它能连上推荐服务,只是慢。
渐进式交付(progressive delivery)把这 40 秒拆成若干有观测点的台阶:先给 5% 流量,看指标,没问题再加到 25%、50%、100%,每一步的指标都设阈值,不达标自动退回。
二、核心概念
2.1 三种发布策略的差别在「同时存在几套完整环境」
| 策略 | 流量切换方式 | 新旧版本共存 | 回滚速度 | 资源开销 | 主要风险 |
|---|---|---|---|---|---|
| 滚动更新 | 逐步替换 Pod,靠 Service 分发 | 短暂共存 | 中,需等新 Pod 全退 | 低,不额外占资源 | 无法按流量比例控制,坏版本会快速占据全部副本 |
| 蓝绿部署 | 一次性把 Service 的 selector 切到新版本 | 两套完整环境并存 | 最快,切回去即可 | 高,资源翻倍 | 切换是原子操作,出问题时全部用户同时受影响 |
| 金丝雀发布 | 按权重把少量流量导入新版本,逐步放大 | 长期共存 | 快,把权重归零 | 低,新版本只跑少量副本 | 需要流量治理能力,且需要判断指标 |
表 9-1 三种发布策略的对照
蓝绿与金丝雀的核心区别值得单独说:蓝绿解决的是「回滚慢」,金丝雀解决的是「影响面大」。蓝绿的回滚之所以快,是因为旧环境一直热着,切 selector 是毫秒级;但它切过去的那一瞬间,100% 的用户都在新版本上,问题也会 100% 暴露。金丝雀正相反,它影响面小,但要等指标告诉你「有问题」,而指标有延迟。
真实项目里两者常叠加:金丝雀放量 + 保留旧版本副本,回滚时既切流量也留存量。
2.2 Argo Rollouts 换掉的是 Deployment 这个对象
Argo Rollouts 提供 Rollout 这个 CRD,它接管 Deployment 的职责,并额外管理 ReplicaSet 的权重与暂停点。
图 9-1 一次金丝雀发布的台阶与自动回滚分支
如图 9-1 所示,每个 pause 是一次判断机会。判断由 AnalysisTemplate 完成,它定义「查哪个指标、阈值多少、连续失败几次算失败」。
流量的切分依赖底层能力。用 Istio 或 Gateway API 时,Rollout 会创建 VirtualService 或 HTTPRoute 按权重分流;用 Nginx Ingress 时走 annotation;两者都没有的裸集群只能按副本数比例近似——这时候 1 个新 Pod 加 19 个旧 Pod 就是 5%,粒度受副本总数限制,副本少的时候不准。
2.3 AnalysisTemplate:把「感觉没问题」写成查询
AnalysisTemplate 的本质是一条 PromQL(Prometheus 查询语言)加几个阈值。它要回答的是「新版本和旧版本比,是不是变坏了」,所以大多数指标都写成两个版本的比值或差值,而不是绝对值。
指标选错是这类方案最常见的失败。选 CPU 使用率没有意义,新版本 CPU 高不一定是坏事。可用的指标有四类:错误率(5xx 占比)、延迟分位数(P95 或 P99)、业务成功率(下单成功数 / 下单请求数)、饱和度(下游连接池占用)。
还有一条容易忽略的:要有足够的请求量。5% 流量、每秒 20 个请求、判断窗口 2 分钟,样本只有 2400 个;如果错误率基线是 0.1%,这个样本量根本区分不出 0.1% 和 0.5%。AnalysisTemplate 里的 successCondition 只判断数值,不判断样本是否充分,要么把窗口拉长,要么在查询里加 and count_over_time(...) > 1000。
2.4 回滚不是撤销,是再走一遍
自动回滚(automatic rollback)的实际动作是:把当前 Rollout 的 status.abort 置为 true,控制器把流量权重归零、旧 ReplicaSet 恢复到原副本数。它不删除新 ReplicaSet,那个对象会留着,用于排查。
这意味着两件事。第一,回滚很快,因为旧 Pod 还在(revisionHistoryLimit 默认保留 10 个 ReplicaSet,scaleDownDelaySeconds 控制旧版本保留多久)。第二,回滚之后 Rollout 处于 Degraded 状态,需要人看一眼再决定是修还是退。
真出事时,最贵的不是回滚那 30 秒,是「回滚之后大家不知道该怎么办」。所以在流水线里回滚要附带三件事:把失败的 AnalysisRun 名字贴进通知、把当时的关键指标截图存档、把这次发布对应的 commit 标成 rollback。《效能度量:DORA 四指标与改进闭环》会讲这些数据怎么汇总成指标。
2.5 发布门禁:拦在部署之前的那几道
渐进式交付管的是「已经开始放了怎么办」,发布门禁(release gate)管的是「该不该开始放」。
门禁通常有三类。质量门禁:单测覆盖率、静态扫描结果。供应链门禁:镜像签名有效、高危漏洞为零,也就是《供应链安全:SBOM、签名与扫描》那套。变更门禁:这次发布有没有对应的变更单、是不是在允许的时间窗内。
门禁和渐进式分析的分工要说清:门禁是二元判断,跑在部署前,不过就不部署;渐进式分析是统计判断,跑在部署中,不过就回滚。把两者混在一起,会出现「门禁跑了两小时,金丝雀分析窗口只有五分钟」这种节奏错配。
三、动手实践
三步:装控制器、写一个带分析的 Rollout、故意让分析失败看它自己退回去。
3.1 安装控制器
kubectl create namespace argo-rollouts
kubectl apply -n argo-rollouts \
-f https://github.com/argoproj/argo-rollouts/releases/latest/download/install.yaml
# kubectl 插件,用于 rollout status / promote / abort
brew install argoproj/tap/kubectl-argo-rollouts运行结果:
$ kubectl -n argo-rollouts get pods
NAME READY STATUS RESTARTS AGE
argo-rollouts-7d9c5b8f4-x2mqp 1/1 Running 0 48s
$ kubectl argo rollouts version
kubectl-argo-rollouts: v1.8.3插件版本与控制器版本不必完全一致,但大版本要跟上——v1.7 之前的插件不认 Gateway API 的部分字段。
3.2 写一个带自动分析的 Rollout
apiVersion: argoproj.io/v1alpha1
kind: Rollout
metadata:
name: order-api
namespace: order-api
spec:
replicas: 8
revisionHistoryLimit: 5
selector:
matchLabels: {app: order-api}
strategy:
canary:
canaryService: order-api-canary # 金丝雀专用 Service
stableService: order-api-stable # 稳定版 Service
trafficRouting:
istio:
virtualService:
name: order-api
routes: [primary]
steps:
- setWeight: 5
- pause: {duration: 5m} # 期间 AnalysisRun 持续跑
- setWeight: 25
- pause: {duration: 10m}
- setWeight: 50
- pause: {} # 空 pause 表示等人工 promote
- setWeight: 100
template:
metadata:
labels: {app: order-api}
spec:
containers:
- name: app
image: ghcr.io/acme/order-api@sha256:3f1c9a7e2b5d4c8f
resources:
requests: {cpu: 200m, memory: 256Mi}setWeight 加 pause 是显式台阶。注意最后那个 pause: {}——它让 50% 到 100% 之间必须有人点一下 promote。生产上建议至少保留一个人工卡点,因为指标覆盖不了所有问题,比如界面错位、文案错误,这些不会让错误率上升。
运行结果:
$ kubectl argo rollouts get rollout order-api -n order-api --watch
Name: order-api
Namespace: order-api
Status: ॥ Paused
Strategy: Canary
Step: 3/7
SetWeight: 25
ActualWeight: 25
Images: ghcr.io/acme/order-api@sha256:3f1c9a7e2b5d4c8f (canary)
Replicas:
Desired: 8
Current: 8
Updated: 2
Ready: 8
Available: 8Updated: 2 是因为 25% 的 8 个副本向上取整为 2。副本数少于 4 时,5% 这一档实际会变成 1 个副本,权重精度就丢了。
3.3 指标分析不通过时自动回滚
apiVersion: argoproj.io/v1alpha1
kind: AnalysisTemplate
metadata:
name: error-rate-check
namespace: order-api
spec:
args:
- name: service
value: order-api
metrics:
- name: error-rate
interval: 1m
count: 5 # 采样 5 次,约 5 分钟
failureLimit: 2 # 累计 2 次失败即中止
successCondition: result[0] < 0.02
failureCondition: result[0] > 0.05
provider:
prometheus:
address: http://prometheus.monitoring:9090
query: |
sum(rate(http_requests_total{
job="{{args.service}}",status=~"5.."}[2m]))
/
sum(rate(http_requests_total{job="{{args.service}}"}[2m]))这里 successCondition 和 failureCondition 之间留了一个 0.02 到 0.05 的灰区,落在灰区里既不算成功也不算失败,采样继续。这个设计避免了「一次抖动就回滚」,代价是判断晚几分钟。failureLimit: 2 表示累计两次越界才中止,不是连续两次。
运行结果(人为让新版本返回 500):
$ kubectl argo rollouts get rollout order-api -n order-api
Status: ✖ Degraded
Message: RolloutAborted: Metric "error-rate" assessed Failed
due to failureLimit 2. AnalysisRun "order-api-7d9c5b8f4-2" failed
Strategy: Canary
Step: 3/7
SetWeight: 25
ActualWeight: 0 # 权重已归零
Stable: ReplicaSet order-api-5b6f8c9d4 (8 pods, ready)
$ kubectl -n order-api get analysisrun
NAME STATUS AGE
order-api-7d9c5b8f4-1 Failed 6m
order-api-7d9c5b8f4-2 Failed 8mActualWeight: 0 是回滚生效的证明。此时 Degraded 状态会一直保持,直到有人执行 kubectl argo rollouts undo 或者修好再发一版;它不会自己「恢复」,这是刻意的——出过问题的版本不该被静默重试。
四、常见误解
很多人以为滚动更新就是灰度发布,实际上滚动更新只控制「副本替换速度」,不控制「流量比例」,也完全不看业务指标。它的健康检查只回答进程是否存活,而多数线上问题是「进程活着但业务出错」。默认配置下 maxUnavailable: 25%,二十个副本时一次换五个,坏版本在十几秒内就吃掉 25% 的流量。
很多人以为金丝雀流量越细越好,实际上 1% 的流量在低 QPS 服务上等于没有信号。每秒 10 个请求的服务,1% 是每 10 秒 1 个请求,五分钟窗口只有 30 个样本,错误率算出来的数字随机性大过真实差异。判断粒度要和流量匹配:QPS 低于 50 的服务,起步用 10% 到 20%,别用 1%。
很多人以为自动回滚之后就没事了,实际上回滚只把用户从故障里捞出来,没解决「为什么指标没提前发现」。回滚后必须回答三个问题:哪个指标最先越界、越界到中止隔了多久、这个指标是不是覆盖了这次故障的形态。这三个答案决定下一次要补哪个指标,而不是补一个更快的回滚。
五、小结
[《GitOps:Argo CD 与声明式部署》](/guide/cicd/gitops-argocd.html)让部署变成一次可回溯的 commit,这一章给这次 commit 装上了分段放行的阀门。
- 滚动更新保证副本数,不保证质量;蓝绿换的是回滚速度,金丝雀换的是影响面,三者常叠加使用。
Rollout的steps是显式台阶,setWeight配pause,最后留一个人工卡点,因为指标测不出界面和文案问题。AnalysisTemplate的核心是把「新版本和旧版本比」写成 PromQL 比值,并保证样本量足够;只有绝对值阈值会在流量波动时误判。- 自动回滚是把权重归零、旧 ReplicaSet 扩回原状,新 ReplicaSet 保留用于排查;
Degraded状态需要人处理。 - 门禁拦在部署前,二元判断;渐进式分析跑在部署中,统计判断。两者的节奏要分开设计。
六、相关文章
这一章讲的所有判断——5% 该不该放大、错误率是 2% 还是 5%、回滚用了几分钟——都变成了数字。这些数字散在 Prometheus、Argo CD 的状态里、流水线的日志里,没人汇总,也就没人知道这套机制到底把交付变好了还是只是变复杂了。[《效能度量:DORA 四指标与改进闭环》](/guide/cicd/dora-devops-metrics.html)把它们收敛成四个指标:变更前置时间、部署频率、变更失败率、恢复时长,并讲清怎么采集、怎么用它们做判断,而不是拿来考核。
继续阅读:[《效能度量:DORA 四指标与改进闭环》 效能度量:DORA 四指标与改进闭环](/guide/cicd/dora-devops-metrics.html)