Skip to content

渐进式交付:金丝雀与自动回滚 ​

本篇要点:把「一次性换掉全部副本」改成「按比例放量、用指标判断、坏了自己退回去」。前置文章:[《GitOps:Argo CD 与声明式部署》](/guide/cicd/gitops-argocd.html)把部署变成了一个 commit,这一章要给这个 commit 加上刹车和倒车。

一、为什么需要它 ​

一个日均两百万请求的商品服务,2025 年 11 月做了一次「小改动」:商品详情接口里加了一个字段,数据来自新接入的推荐服务。改动合并、镜像构建、kubectl set image,四十秒内八个副本全部换完。

第 90 秒开始,P99 从 210 毫秒跳到 3.4 秒。原因不是新代码有 bug,是新代码调用的下游推荐服务只有 3 个副本,承受不住八分之一个商品服务的全部流量,在 40 秒内被打到超时,超时又触发重试,重试把并发乘了三倍。

回滚发生在第 19 分钟。这 19 分钟里,八分之七的时间里服务是坏的,损失可以算,但真正的问题是:判断「这次发布有没有问题」的那 40 秒里,没有人在看指标。

滚动更新(RollingUpdate)常被当成安全机制,它确实不会让服务整体消失。但它保证的是「副本数不为零」,不是「新版本是好的」。Kubernetes 的滚动更新按 maxUnavailable 和 maxSurge 前进,健康检查只回答「进程能不能起来」,不回答「业务指标有没有变坏」。上面这个例子里,新 Pod 的 readiness 探针全绿,因为它能连上推荐服务,只是慢。

渐进式交付(progressive delivery)把这 40 秒拆成若干有观测点的台阶:先给 5% 流量,看指标,没问题再加到 25%、50%、100%,每一步的指标都设阈值,不达标自动退回。

二、核心概念 ​

2.1 三种发布策略的差别在「同时存在几套完整环境」 ​

策略流量切换方式新旧版本共存回滚速度资源开销主要风险
滚动更新逐步替换 Pod,靠 Service 分发短暂共存中,需等新 Pod 全退低,不额外占资源无法按流量比例控制,坏版本会快速占据全部副本
蓝绿部署一次性把 Service 的 selector 切到新版本两套完整环境并存最快,切回去即可高,资源翻倍切换是原子操作,出问题时全部用户同时受影响
金丝雀发布按权重把少量流量导入新版本,逐步放大长期共存快,把权重归零低,新版本只跑少量副本需要流量治理能力,且需要判断指标

表 9-1 三种发布策略的对照

蓝绿与金丝雀的核心区别值得单独说:蓝绿解决的是「回滚慢」,金丝雀解决的是「影响面大」。蓝绿的回滚之所以快,是因为旧环境一直热着,切 selector 是毫秒级;但它切过去的那一瞬间,100% 的用户都在新版本上,问题也会 100% 暴露。金丝雀正相反,它影响面小,但要等指标告诉你「有问题」,而指标有延迟。

真实项目里两者常叠加:金丝雀放量 + 保留旧版本副本,回滚时既切流量也留存量。

2.2 Argo Rollouts 换掉的是 Deployment 这个对象 ​

Argo Rollouts 提供 Rollout 这个 CRD,它接管 Deployment 的职责,并额外管理 ReplicaSet 的权重与暂停点。

图 9-1 一次金丝雀发布的台阶与自动回滚分支

如图 9-1 所示,每个 pause 是一次判断机会。判断由 AnalysisTemplate 完成,它定义「查哪个指标、阈值多少、连续失败几次算失败」。

流量的切分依赖底层能力。用 Istio 或 Gateway API 时,Rollout 会创建 VirtualService 或 HTTPRoute 按权重分流;用 Nginx Ingress 时走 annotation;两者都没有的裸集群只能按副本数比例近似——这时候 1 个新 Pod 加 19 个旧 Pod 就是 5%,粒度受副本总数限制,副本少的时候不准。

2.3 AnalysisTemplate:把「感觉没问题」写成查询 ​

AnalysisTemplate 的本质是一条 PromQL(Prometheus 查询语言)加几个阈值。它要回答的是「新版本和旧版本比,是不是变坏了」,所以大多数指标都写成两个版本的比值或差值,而不是绝对值。

指标选错是这类方案最常见的失败。选 CPU 使用率没有意义,新版本 CPU 高不一定是坏事。可用的指标有四类:错误率(5xx 占比)、延迟分位数(P95 或 P99)、业务成功率(下单成功数 / 下单请求数)、饱和度(下游连接池占用)。

还有一条容易忽略的:要有足够的请求量。5% 流量、每秒 20 个请求、判断窗口 2 分钟,样本只有 2400 个;如果错误率基线是 0.1%,这个样本量根本区分不出 0.1% 和 0.5%。AnalysisTemplate 里的 successCondition 只判断数值,不判断样本是否充分,要么把窗口拉长,要么在查询里加 and count_over_time(...) > 1000。

2.4 回滚不是撤销,是再走一遍 ​

自动回滚(automatic rollback)的实际动作是:把当前 Rollout 的 status.abort 置为 true,控制器把流量权重归零、旧 ReplicaSet 恢复到原副本数。它不删除新 ReplicaSet,那个对象会留着,用于排查。

这意味着两件事。第一,回滚很快,因为旧 Pod 还在(revisionHistoryLimit 默认保留 10 个 ReplicaSet,scaleDownDelaySeconds 控制旧版本保留多久)。第二,回滚之后 Rollout 处于 Degraded 状态,需要人看一眼再决定是修还是退。

真出事时,最贵的不是回滚那 30 秒,是「回滚之后大家不知道该怎么办」。所以在流水线里回滚要附带三件事:把失败的 AnalysisRun 名字贴进通知、把当时的关键指标截图存档、把这次发布对应的 commit 标成 rollback。《效能度量:DORA 四指标与改进闭环》会讲这些数据怎么汇总成指标。

2.5 发布门禁:拦在部署之前的那几道 ​

渐进式交付管的是「已经开始放了怎么办」,发布门禁(release gate)管的是「该不该开始放」。

门禁通常有三类。质量门禁:单测覆盖率、静态扫描结果。供应链门禁:镜像签名有效、高危漏洞为零,也就是《供应链安全:SBOM、签名与扫描》那套。变更门禁:这次发布有没有对应的变更单、是不是在允许的时间窗内。

门禁和渐进式分析的分工要说清:门禁是二元判断,跑在部署前,不过就不部署;渐进式分析是统计判断,跑在部署中,不过就回滚。把两者混在一起,会出现「门禁跑了两小时,金丝雀分析窗口只有五分钟」这种节奏错配。

三、动手实践 ​

三步:装控制器、写一个带分析的 Rollout、故意让分析失败看它自己退回去。

3.1 安装控制器 ​

bash
kubectl create namespace argo-rollouts
kubectl apply -n argo-rollouts \
  -f https://github.com/argoproj/argo-rollouts/releases/latest/download/install.yaml

# kubectl 插件,用于 rollout status / promote / abort
brew install argoproj/tap/kubectl-argo-rollouts

运行结果:

text
$ kubectl -n argo-rollouts get pods
NAME                             READY   STATUS    RESTARTS   AGE
argo-rollouts-7d9c5b8f4-x2mqp    1/1     Running   0          48s
$ kubectl argo rollouts version
kubectl-argo-rollouts: v1.8.3

插件版本与控制器版本不必完全一致,但大版本要跟上——v1.7 之前的插件不认 Gateway API 的部分字段。

3.2 写一个带自动分析的 Rollout ​

yaml
apiVersion: argoproj.io/v1alpha1
kind: Rollout
metadata:
  name: order-api
  namespace: order-api
spec:
  replicas: 8
  revisionHistoryLimit: 5
  selector:
    matchLabels: {app: order-api}
  strategy:
    canary:
      canaryService: order-api-canary     # 金丝雀专用 Service
      stableService: order-api-stable     # 稳定版 Service
      trafficRouting:
        istio:
          virtualService:
            name: order-api
            routes: [primary]
      steps:
        - setWeight: 5
        - pause: {duration: 5m}           # 期间 AnalysisRun 持续跑
        - setWeight: 25
        - pause: {duration: 10m}
        - setWeight: 50
        - pause: {}                        # 空 pause 表示等人工 promote
        - setWeight: 100
  template:
    metadata:
      labels: {app: order-api}
    spec:
      containers:
        - name: app
          image: ghcr.io/acme/order-api@sha256:3f1c9a7e2b5d4c8f
          resources:
            requests: {cpu: 200m, memory: 256Mi}

setWeight 加 pause 是显式台阶。注意最后那个 pause: {}——它让 50% 到 100% 之间必须有人点一下 promote。生产上建议至少保留一个人工卡点,因为指标覆盖不了所有问题,比如界面错位、文案错误,这些不会让错误率上升。

运行结果:

text
$ kubectl argo rollouts get rollout order-api -n order-api --watch
Name:            order-api
Namespace:       order-api
Status:          ॥ Paused
Strategy:        Canary
  Step:          3/7
  SetWeight:     25
  ActualWeight:  25
Images:          ghcr.io/acme/order-api@sha256:3f1c9a7e2b5d4c8f (canary)
Replicas:
  Desired:       8
  Current:       8
  Updated:       2
  Ready:         8
  Available:     8

Updated: 2 是因为 25% 的 8 个副本向上取整为 2。副本数少于 4 时,5% 这一档实际会变成 1 个副本,权重精度就丢了。

3.3 指标分析不通过时自动回滚 ​

yaml
apiVersion: argoproj.io/v1alpha1
kind: AnalysisTemplate
metadata:
  name: error-rate-check
  namespace: order-api
spec:
  args:
    - name: service
      value: order-api
  metrics:
    - name: error-rate
      interval: 1m
      count: 5                      # 采样 5 次,约 5 分钟
      failureLimit: 2               # 累计 2 次失败即中止
      successCondition: result[0] < 0.02
      failureCondition: result[0] > 0.05
      provider:
        prometheus:
          address: http://prometheus.monitoring:9090
          query: |
            sum(rate(http_requests_total{
              job="{{args.service}}",status=~"5.."}[2m]))
            /
            sum(rate(http_requests_total{job="{{args.service}}"}[2m]))

这里 successCondition 和 failureCondition 之间留了一个 0.02 到 0.05 的灰区,落在灰区里既不算成功也不算失败,采样继续。这个设计避免了「一次抖动就回滚」,代价是判断晚几分钟。failureLimit: 2 表示累计两次越界才中止,不是连续两次。

运行结果(人为让新版本返回 500):

text
$ kubectl argo rollouts get rollout order-api -n order-api
Status:          ✖ Degraded
Message:         RolloutAborted: Metric "error-rate" assessed Failed
                 due to failureLimit 2. AnalysisRun "order-api-7d9c5b8f4-2" failed
Strategy:        Canary
  Step:          3/7
  SetWeight:     25
  ActualWeight:  0              # 权重已归零
  Stable:        ReplicaSet order-api-5b6f8c9d4 (8 pods, ready)

$ kubectl -n order-api get analysisrun
NAME                          STATUS   AGE
order-api-7d9c5b8f4-1         Failed   6m
order-api-7d9c5b8f4-2         Failed   8m

ActualWeight: 0 是回滚生效的证明。此时 Degraded 状态会一直保持,直到有人执行 kubectl argo rollouts undo 或者修好再发一版;它不会自己「恢复」,这是刻意的——出过问题的版本不该被静默重试。

四、常见误解 ​

很多人以为滚动更新就是灰度发布,实际上滚动更新只控制「副本替换速度」,不控制「流量比例」,也完全不看业务指标。它的健康检查只回答进程是否存活,而多数线上问题是「进程活着但业务出错」。默认配置下 maxUnavailable: 25%,二十个副本时一次换五个,坏版本在十几秒内就吃掉 25% 的流量。

很多人以为金丝雀流量越细越好,实际上 1% 的流量在低 QPS 服务上等于没有信号。每秒 10 个请求的服务,1% 是每 10 秒 1 个请求,五分钟窗口只有 30 个样本,错误率算出来的数字随机性大过真实差异。判断粒度要和流量匹配:QPS 低于 50 的服务,起步用 10% 到 20%,别用 1%。

很多人以为自动回滚之后就没事了,实际上回滚只把用户从故障里捞出来,没解决「为什么指标没提前发现」。回滚后必须回答三个问题:哪个指标最先越界、越界到中止隔了多久、这个指标是不是覆盖了这次故障的形态。这三个答案决定下一次要补哪个指标,而不是补一个更快的回滚。

五、小结 ​

[《GitOps:Argo CD 与声明式部署》](/guide/cicd/gitops-argocd.html)让部署变成一次可回溯的 commit,这一章给这次 commit 装上了分段放行的阀门。

  • 滚动更新保证副本数,不保证质量;蓝绿换的是回滚速度,金丝雀换的是影响面,三者常叠加使用。
  • Rollout 的 steps 是显式台阶,setWeight 配 pause,最后留一个人工卡点,因为指标测不出界面和文案问题。
  • AnalysisTemplate 的核心是把「新版本和旧版本比」写成 PromQL 比值,并保证样本量足够;只有绝对值阈值会在流量波动时误判。
  • 自动回滚是把权重归零、旧 ReplicaSet 扩回原状,新 ReplicaSet 保留用于排查;Degraded 状态需要人处理。
  • 门禁拦在部署前,二元判断;渐进式分析跑在部署中,统计判断。两者的节奏要分开设计。

六、相关文章 ​

这一章讲的所有判断——5% 该不该放大、错误率是 2% 还是 5%、回滚用了几分钟——都变成了数字。这些数字散在 Prometheus、Argo CD 的状态里、流水线的日志里,没人汇总,也就没人知道这套机制到底把交付变好了还是只是变复杂了。[《效能度量:DORA 四指标与改进闭环》](/guide/cicd/dora-devops-metrics.html)把它们收敛成四个指标:变更前置时间、部署频率、变更失败率、恢复时长,并讲清怎么采集、怎么用它们做判断,而不是拿来考核。

继续阅读:[《效能度量:DORA 四指标与改进闭环》 效能度量:DORA 四指标与改进闭环](/guide/cicd/dora-devops-metrics.html)