进阶:团队级 CICD 平台建设
本篇要点:把「每个仓库各自搭流水线」变成「一条默认路径加上自助服务」,并且能用账和指标说明它值不值。 前置文章:[《进阶:流水线安全加固》](/guide/cicd/pipeline-security-hardening.html)在一个仓库里把权限和证据收紧了,这一章要把同样的要求铺到几十个仓库上。
一、为什么需要它
一家 300 人的公司,47 个仓库,4 个团队,平台组 3 个人。半年里攒下五个数:
47 个仓库有 37 种 workflow 写法。同样一个 Node 服务,构建方式就有五种——npm、yarn、pnpm 各一套,两套还在用两年前的 Node 基础镜像。
安全要求所有镜像带 SBOM 和构建证明,半年只有 5 个仓库做到,剩下的理由是「模板里没有」。
平台组 60% 的时间在回答「我的流水线为什么红了」,只有 15% 做新能力。
新项目从建仓到首次成功部署平均 18 天,其中 14 天在等平台组配流水线。
CI 账单每季度 4.2 万美元,31% 是同一分支连续 push 触发的重复全量构建。
这五个数彼此不独立:37 种写法让批量修改没法做,安全要求只能靠催,平台组的时间被工单吃掉,新项目只能排队。《进阶:流水线安全加固》那些加固动作,一个仓库里是半天,47 个仓库里是半年。
平台建设要解决的正是这个规模问题:把重复部分抽成一条默认路径,新项目第一天走上去,老的慢慢迁。
二、核心概念
2.1 现状评估:四个维度,一份能重跑的快照
评估(baseline assessment)不是发问卷,是跑脚本:产出一份带日期的快照,下季度用同一套脚本再跑。
| 维度 | 看什么 | 怎么采 | 什么数值说明有问题 |
|---|---|---|---|
| 形态 | 仓库数、流水线指纹去重数、模板覆盖率 | 扫各仓库的 workflow 目录算哈希 | 指纹数接近仓库数,说明没有标准 |
| 可靠性 | 流水线成功率、从红到绿的中位时长 | CI 平台 API 或数据仓库 | 成功率低于 85%,团队会养成无视红灯的习惯 |
| 速度 | 首次跑通流水线的时间、构建时长 P50/P90 | 建仓时间与首次成功记录 | 首次超过 1 天,新项目就会绕过平台 |
| 成本 | CI 分钟数、重复构建占比、人力工时 | 账单与运行日志 | 重复构建超过 20%,先修触发条件 |
表 12-1 现状评估的四个维度
快照要能重跑,否则第二季度没法比。这是《效能度量:DORA 四指标与改进闭环》口径纪律的延续:定义写在文件里,脚本进仓库。
2.2 选型:买的是运维,不是功能
三种形态:全托管(控制面与 runner 都由厂商提供)、全自建(Jenkins 加自管 runner)、混合(控制面托管、runner 自管)。
| 形态 | 适合的规模与约束 | 优势 | 隐性成本 |
|---|---|---|---|
| 全托管 | 团队小于 100 人,代码可出网 | 升级、扩容、审计由厂商承担,当天可用 | 单价随用量上涨,深度定制受限 |
| 全自建 | 有强合规要求,或已有成熟的运维能力 | 完全可控,能接内部系统 | 常年需要一个熟悉它的人,插件与 CVE 响应都落在自己身上 |
| 混合 | 100 到 1000 人,构建量大或需访问内网 | 控制面省心,runner 留在自己的网络里 | 两套排障路径,网络与凭据要打通 |
表 12-2 三种形态的适用边界
选型最容易漏算的是「谁在夜里接电话」:自建的功能对比表好看,但默认有人长期维护,年构建量不大又无硬性约束时,省下的订阅费通常小于这份人力。判断用数字:年构建次数、峰值并发、内网访问、留存要求,四条就能筛掉两种形态。
2.3 三段分期:每期一个可验收的产出
最常见的失败方式是一次性铺开:模板、门户、治理、迁移同时上,八个月后什么都没上线。
分三段,每段一个季度,每段只承诺一个能验收的结果。
阶段一,标准化:一个模板、一套基础镜像、一套缓存策略,覆盖最常见服务类型。验收「新建仓库 30 分钟跑通默认流水线」。
阶段二,自助化:脚手架、按需预览环境、自托管 runner 池。验收「首次成功部署不超过 1 天,不需要平台组介入」。
阶段三,治理:策略即代码、证据自动产出、成本配额与告警。验收「新仓库默认合规,不用催」。
顺序不能反:先做治理,团队会退回手工去对抗检查;先做自助化而没有统一模板,等于把 37 种写法变成 50 种。
图 12-1 三段分期与每段的验收位置
如图 12-1 所示,评估不是开题报告,每季度重跑一次作为下一轮输入;虚线那条回看决定「下一段该不该开始」,不评判上一段好坏。
2.4 平台团队:把自己当产品团队
平台团队(platform team)在 Team Topologies 里的定义很具体:把内部能力做成自助服务,降低业务团队的认知负荷;产出不是工单量,是「业务团队不找你也能发布」。
把平台当产品,要四样东西:用户是谁、路线图(本季度交付什么、明确不做什么)、服务水平(流水线挂了多久响应)、采纳数据。
人数配比:300 人规模起步 2 到 3 人——一到两名平台工程、一名偏产品与交付的人,安全与 SRE 各兼职一半。人是按收益配的,2.5 节的账会说得更清楚。
反例是运维组改名:牌子换成「平台工程部」,工作还是接工单、救火、按需配流水线,一年后预算评审时拿不出一条「业务团队自助完成」的证据。
2.5 成本与 ROI:先算一个仓库的账
投资回报(return on investment,ROI)要算到量级,不用算到小数点。
年度收益四块:重复构建省下的 CI 费用、等待与排队省下的人力、失败部署减少的损失、各仓库重复维护的工时。年度成本三块:平台人力、工具订阅、迁移期双跑。
先算一个仓库再乘:一年花多少维护工时、多少次重复构建、多少次因流水线误工,这三个数业务团队自己就能估,通常比平台组的直觉准。
算不清的部分写假设,不要硬凑。「上线快带来的收入」多数时候说服不了财务,干脆不计,让账只靠算得清的项目也站得住。
2.6 五个验收指标
模板覆盖率:新建仓库默认走模板的比例。关键在「新建」——迁移数能被强制推高,默认选择骗不了人。
首次成功部署时长:建仓到第一次部署进预发,目标 1 天内。
流水线成功率:目标 95% 以上。低于这个数,红灯就失去信息量。
交付指标:从《效能度量:DORA 四指标与改进闭环》四项里挑两项,通常取前置时间和失败率。
每千次构建的工单数:平台组被占用的直接度量,下降说明自助生效了。
五个数都不奖励「做了多少功能」。平台最容易陷入的陷阱是功能列表越来越长,工单量没降。
三、动手实践
用上面那家公司做样本,两周内交三样东西:一份可重跑的评估、一个能用的模板、一张算得平的账。
3.1 盘点:数清到底有几种写法
# 给每个仓库的 workflow 目录算一个指纹,用来数「有几种写法」
for repo in $(gh repo list acme --limit 200 --json name -q '.[].name'); do
files=$(gh api "repos/acme/$repo/contents/.github/workflows" \
--jq '.[].path' 2>/dev/null)
if [ -z "$files" ]; then echo "$repo -"; continue; fi
fp=$(for f in $files; do
gh api "repos/acme/$repo/contents/$f" --jq '.content' \
| base64 -d | sha256sum | cut -c1-4
done | sha256sum | cut -c1-8)
echo "$repo $fp"
done > fingerprints.txt
echo "仓库数 $(wc -l < fingerprints.txt)"
echo "有 workflow 的 $(grep -vc -- ' -$' fingerprints.txt)"
awk '{print $2}' fingerprints.txt | grep -v '^-$' | sort | uniq -c | sort -rn | head -3运行结果(47 个仓库,5 个还没接流水线):
仓库数 47
有 workflow 的 42
19 a1b2c3d4
7 e5f6a7b8
3 c9d0e1f242 个仓库只有 37 种指纹,最多的三种覆盖 29 个仓库,占 69%。它们是三份被复制多次的 YAML,也是模板雏形;标准化不用从零设计,挑最完整的一份改。
3.2 写一个模板,让业务仓库只留九行
模板放在单独仓库 acme/platform-workflows,打 tag 再引用,业务仓库不直接引 @main。
# 业务仓库 .github/workflows/ci.yml —— 迁移后只剩这些
name: ci
on:
pull_request:
push:
branches: [main]
jobs:
ci:
uses: acme/platform-workflows/.github/workflows/node-ci.yml@v3
with:
image: pay-api
environment: production预期输出(第一次跑,缓存已预热,迁移前的同一仓库是 14 分 05 秒):
ci / node-ci (pull_request) Success 8m 34s
✓ install (cache hit 92%) 41s
✓ test (shard 2/2) 2m 06s
✓ build & push 3m 12s
✓ sbom + attest 1m 40s
✓ deploy staging 54s省下的 5 分半不是重点。重点是 SBOM 和构建证明现在默认带上,业务仓库的 YAML 里一个字没写——《进阶:流水线安全加固》那套加固从「每个仓库做一遍」变成「模板里做一次」。
模板要打 tag,且只允许平台组改。业务仓库引用 @v3,v3.1 只修 bug 不改行为,v4 才允许破坏性变更。没有版本,模板会变成第二个没人敢动的遗留系统。
3.3 算账:两个人力与三个人力的差别
builds_per_month = 4200
ci_cost_per_month = 14000 # 4.2 万美元/季度
print(f"单位构建成本 ${ci_cost_per_month / builds_per_month:.2f}/次")
dup = 0.31 # 重复构建占比
save_build = builds_per_month * 12 * dup * (ci_cost_per_month / builds_per_month)
save_wait = 900 * 4 * 75 # 每季度少 900 小时等待 × 4 季度 × 75 美元
deploys = 30 * 12 # 每月 30 次部署
save_incident = deploys * (0.185 - 0.10) * 9000
save_maint = 47 * 3 * 12 * 75 # 47 个仓库各少 3 小时/月的重复维护
total = save_build + save_wait + save_incident + save_maint
print(f"年省:重复构建 {save_build:,.0f} / 等待 {save_wait:,.0f} / "
f"失败部署 {save_incident:,.0f} / 重复维护 {save_maint:,.0f}")
print(f"合计 {total:,.0f}")
for headcount in (2, 3, 5):
cost = headcount * 12 * 16000
print(f"{headcount} 人平台组成本 {cost:,},净收益 {total - cost:,}")运行结果:
单位构建成本 $3.33/次
年省:重复构建 52,080 / 等待 270,000 / 失败部署 275,400 / 重复维护 126,900
合计 724,380
2 人平台组成本 384,000,净收益 340,380
3 人平台组成本 576,000,净收益 148,380
5 人平台组成本 960,000,净收益 -235,620这张表比方案书好用:三人组在收益不变时已开始摊薄,五人撑不住;而最大的一块收益(失败部署与等待)恰恰最难估准。起步给两个人,先把标准化和自助化的收益做出来,再谈扩编。
评估、模板、账齐了,剩下的是把 2.6 节那五个指标钉进一块周更的板子,每格写当前值和季度目标。
四、常见误解
很多人以为平台就是买一套工具,实际上工具只是入口。买来的控制面不含你们的服务类型、合规检查和命名约定,这些才是主体;模板没人维护时,昂贵的工具只会放大混乱。
很多人以为迁移要全量铺开,实际上应按价值分批:先挑三个仓库试点——一个新项目、一个高频发布的、一个即将做安全整改的,跑两周再扩。全量迁移会把平台组变成全公司的瓶颈。
很多人以为文档写清楚就有人用,实际上默认值比文档有效。没人读 40 页的接入指南,但所有人都会复制那个九行 YAML;文档回答「为什么」,模板决定「你会得到什么」。
很多人以为覆盖率 100% 就是成功,实际上要看它怎么来的。强制迁移的数字和新建仓库默认走模板的数字含义完全不同,看新仓库有没有人主动绕开模板就知道。
五、小结
十二章走完了。第 1 到 5 章建一条能跑、能复现、跑得快的流水线;第 6 到 9 章管它在不同环境里怎么稳;《效能度量:DORA 四指标与改进闭环》回答怎么证明有用,《进阶:流水线安全加固》守住单个仓库,这一章让几十个团队一起守住。
- 起点是一份能重跑的现状快照,四个维度:形态、可靠性、速度、成本。
- 选型比的是「谁在夜里接电话」,托管、自建、混合各有边界,判断用数字。
- 分期只承诺三个可验收的产出:30 分钟跑通、1 天首次部署、新仓库默认合规。顺序不能反。
- 平台团队是产品团队,产出是业务团队不再需要找你;人数按收益配,账算到量级。
- 验收看五个数,核心是「新建仓库的默认选择」和「每千次构建的工单数」,功能数量不算成绩。
六、相关文章
这个类目到这里就收束了。
如果只带走一件事:把《CICD 入门:从提交到上线的全链路》那条最小流水线,按《效能度量:DORA 四指标与改进闭环》的口径量一次,再按《进阶:团队级 CICD 平台建设》的账算一次。四个数决定你先改哪里——前置时间长就动评审与队列,失败率高就补门禁与回滚,构建慢就看缓存与分片,成本高就查重复触发。
九十天的行动建议压成这样:第一个月,只做口径与采集,把四个数跑出来;第二个月,挑一个约束改到底,用数据验收;第三个月,把这套做法写成模板,让第二个项目直接复制。
全部文章在这里。《进阶:流水线安全加固》那份权限清单建议每季度重跑一次;《渐进式交付:金丝雀与自动回滚》的回滚演练建议每半年做一次。