效能度量:DORA 四指标与改进闭环
本篇要点:把「交付到底慢在哪」变成四个口径固定、别人能复算的数字,并据此排出下一季度的改进项。 前置文章:[《渐进式交付:金丝雀与自动回滚》](/guide/cicd/k8s-progressive-delivery.html)让每次发布都能按指标自动回退,这一章要把那些散落的数字收成一套能用来决策的指标。
一、为什么需要它
2026 年 7 月,一个 8 人团队做季度汇报。PPT 第一页写着「流水线耗时从 22 分钟降到 9 分钟,部署次数翻倍」。业务负责人问了一句:那为什么上个月那个商品改价需求,从提出到上线还是走了 11 天?
会议室安静了几秒。有人低头算了算:9 分钟是 0.006 天。11 天里,机器占的时间不到千分之一,剩下的全在等人——等评审、等测试环境、等一个能合并的窗口。
这就是效能度量(engineering metrics)要解决的事:先量清时间花在哪,再决定改什么。量错对象比不量更糟,它会把整支队伍送去优化那 0.006 天。同一季度还有另一件事:管理层把「部署次数」写进 OKR,有人把一次发布拆成五次,数字翻五倍,用户侧没变。
DORA(DevOps Research and Assessment)是一项从 2014 年开始的长期研究,2018 年并入 Google Cloud,《Accelerate》也在同年把这四项指标推成了行业共同语言。它的价值不在排名,而在一套别人能复算的口径:换个人、换套脚本,结果应该差不多。截至 2026 年 11 月,官方定义见 dora.dev,那一页比任何二手转述都值得先读。
二、核心概念
2.1 四项指标是两对,不是一个排行榜
四项分成两对:前两项量吞吐(throughput),后两项量稳定性(stability)。表 10-1 给的是这一章采用的口径,以及每项最容易被算歪的地方。
| 指标 | 这一章采用的口径 | 常见错口径 |
|---|---|---|
| 部署频率 Deployment Frequency | 单个服务一周内成功进入生产的次数 | 用全公司合并次数或流水线运行次数代替 |
| 变更前置时间 Lead Time for Changes | commit 时间到该 commit 在生产生效的中位时长 | 从需求提出算起,那是功能级前置时间,要单独算 |
| 变更失败率 Change Failure Rate | 需要回滚、热修或降级的部署数 ÷ 总部署数 | 用流水线红灯率代替;没登记的事故不进分子 |
| 恢复时长 Failed Deployment Recovery Time | 故障被确认到服务恢复的中位时长,旧称 MTTR | 一路算到复盘结束,把根因分析的时间也算进去 |
表 10-1 四项指标的口径与错口径
用中位数而非平均数,是因为交付时长的长尾很重:一次老分支合并就能把平均数拉高一倍,中位数说的则是「一半的改动比这更快」。
四项要一起读。部署频率高而失败率也高,说明团队在高速返工;前置时间短而恢复时长长,说明发得快、坏了修得慢。任何单项都能被单独优化,四项目标同时被优化才叫能力。
2.2 四项在链路上的位置
图 10-1 四项指标各自覆盖的区间
如图 10-1 所示,①③④ 是区间,② 是计数。计数能从部署记录直接数出来,区间必须有两个时间戳,而这两个时间戳常常不在一个系统里——commit 在 Git,生产生效在发布系统。
2.3 价值流分析:把 11 天拆成七段
价值流分析(value stream analysis,VSM)的做法是:沿一条真实的交付路径,把每个阶段的进入和离开时间戳记下来,然后给每段标一个性质——增值、必要非增值、纯等待。
上面那个团队拆出来的结果见表 10-2。
| 阶段 | 耗时 | 性质 |
|---|---|---|
| 编码 | 1.8 天 | 增值 |
| 等第一次评审 | 3.1 天 | 纯等待 |
| 评审与返工 | 0.9 天 | 必要非增值 |
| 等测试环境 | 2.4 天 | 纯等待 |
| 合并排队 | 0.9 天 | 纯等待 |
| 流水线执行 | 0.3 天 | 必要非增值 |
| 灰度观察 | 2.0 天 | 必要非增值 |
表 10-2 一次商品改价需求的价值流拆解,合计 11.4 天
流动效率(flow efficiency)等于增值时间除以总时长:1.8 ÷ 11.4 = 15.8%。制造业的常见区间是 5% 到 25%,软件交付大多落在低位。这个数字的意义在于换视角:如果只看流水线,你优化的是 0.3 天;看价值流,你要动的是 5.5 天的等待。
反例是把「等评审」记成 0。有些 VSM 表做得很漂亮,因为只统计「有人正在干活」的时间,等待默认是零,流动效率算出来接近 100%,等于什么都没测。
2.4 五种反模式
把指标当考核。 古德哈特定律(Goodhart's law)说的是:一个指标一旦成为目标,它就不再是好指标。部署次数进了 OKR,最好的策略就是拆发布;失败率进了 OKR,最好的策略是不登记事故。
单指标优化。 只压前置时间,团队会把大改动拆成许多小 PR 分开合,单看每个 PR 都快了,功能整体没提前一天。
口径漂移。 一季度按「部署事件」算,二季度改成「应用版本」算,两个季度的数就没法比。口径要写进仓库里的一个文件,改口径时同时改版本号。
手工填报。 让人每周填一次「本周部署几次」,填出来的数会缓慢向好看的方向漂移,而没人能证明它错了。
用代码行数或故事点当产能。 这两个量测的是输入,不是交付。删掉 800 行重复代码是好事,在行数指标里是负分。
2.5 看板上只放四个数和一个行动项
看板(dashboard)要回答的问题只有一个:这个季度我们在改哪个约束,改动了多少。
一个能用的看板:三个服务各一行四列,一条最近 12 周的趋势线,一块写「当前约束」和「本季度行动项」。每周花 15 分钟看一次,季度末拿 12 个点做判断。
反例是大屏。三十个指标、红黄绿三色、每 10 秒刷新一次,第一周有人看,第三周变成走廊装饰。指标越多,越没人对任何一个负责。
还有一条边界:指标对团队可见,对个人不可见。按人拆分部署次数,得到的只会是抢着点发布按钮的人。
三、动手实践
拿一个 GitHub 上的团队做样本:3 个服务、13 周、92 次部署,流水线用 Actions,部署到 Kubernetes。目标是算清四项指标,并找出最该改的那一段。
3.1 先把口径写成文件
在仓库根目录建 METRICS.md,写四句话回答四个问题:什么叫一次部署(一次成功进入生产环境的变更,不含回滚和热修)、前置时间从哪个时间戳起算(commit 的 committer date)、失败如何认定(有事故单且事故单关联了部署的 commit SHA)、恢复到哪一刻(用户侧错误率回到基线以下)。
这四句话比脚本重要。脚本可以重写,口径重写就意味着历史数据作废。
3.2 让流水线自己写部署事件
不要事后去猜。部署成功后由流水线追加一行 JSON,字段固定。
# .github/workflows/deploy.yml(节选)
- name: 写一条部署事件
if: always()
env:
SERVICE: order-api
run: |
jq -nc \
--arg service "$SERVICE" \
--arg sha "$GITHUB_SHA" \
--arg committed_at "$(git log -1 --format=%cI)" \
--arg deployed_at "$(date -u +%FT%TZ)" \
--arg status "${{ job.status }}" \
'{service:$service, sha:$sha, committed_at:$committed_at,
deployed_at:$deployed_at, status:$status}' \
>> deploy-events.jsonl预期输出(cat deploy-events.jsonl | tail -1,一行一条,便于用 jq 和 pandas 处理):
{"service":"order-api","sha":"9f3c1ab...","committed_at":"2026-10-02T07:41:00+08:00","deployed_at":"2026-10-06T10:15:22Z","status":"success"}committed_at 用 git log -1 --format=%cI 而不是 github.event.head_commit.timestamp:后者是 push 时间,一个分支压了三天才推,前置时间就被算少了三天。
事故单另存一个文件,字段只有四个:service、incident_at、recovered_at、cause_deploy(引发故障的 commit SHA,非部署引发则为空)。
3.3 先查数据质量,再算指标
指标算错,九成错在数据。先跑一遍完整性检查。
# 92 条部署事件里,哪些字段是空的
jq -r 'select(.committed_at == null or .status == null) | .sha' deploy-events.jsonl \
| wc -l
# 时间戳倒挂(部署早于提交)的记录
jq -r 'select(.deployed_at < .committed_at) | .sha' deploy-events.jsonl | wc -l
# 事故单里没有关联部署的条数
jq -r 'select(.cause_deploy == null) | .incident_at' incidents.jsonl | wc -l运行结果(92 条部署、23 条事故):
0
1
6三条数字各有含义:字段完整;1 条时间戳倒挂是开发机时钟偏了 4 分钟,手工修正;23 条事故里 17 条由部署引发,另 6 条是基础设施故障,按口径不进失败率。
3.4 算四项指标
import json
import statistics as st
from datetime import datetime
def load(path):
return [json.loads(line) for line in open(path) if line.strip()]
def ts(value):
return datetime.fromisoformat(value.replace("Z", "+00:00"))
events = load("deploy-events.jsonl")
incidents = load("incidents.jsonl")
weeks = 13
caused = {i["cause_deploy"] for i in incidents if i.get("cause_deploy")}
print(f"{'服务':<10}{'部署数':>6}{'周均':>6}{'LT-P50(h)':>11}{'CFR':>8}{'恢复P50(min)':>13}")
for svc in sorted({e["service"] for e in events}):
rows = [e for e in events if e["service"] == svc]
lt = [(ts(e["deployed_at"]) - ts(e["committed_at"])).total_seconds() / 3600
for e in rows]
shas = {e["sha"] for e in rows}
failure = len(caused & shas) / len(rows)
rec = [(ts(i["recovered_at"]) - ts(i["incident_at"])).total_seconds() / 60
for i in incidents if i.get("cause_deploy") in shas]
print(f"{svc:<10}{len(rows):>6}{len(rows) / weeks:>6.1f}"
f"{st.median(lt):>11.1f}{failure:>7.1%}{st.median(rec):>13.0f}")
all_lt = [(ts(e["deployed_at"]) - ts(e["committed_at"])).total_seconds() / 3600
for e in events]
print(f"合计 {len(events)} 次部署,LT-P50 {st.median(all_lt) / 24:.1f} 天,"
f"CFR {len(caused & {e['sha'] for e in events}) / len(events):.1%}")运行结果:
服务 部署数 周均 LT-P50(h) CFR 恢复P50(min)
order-api 38 2.9 101.4 18.4% 44
pay-api 23 1.8 118.7 21.7% 47
user-api 31 2.4 96.2 16.1% 51
合计 92 次部署,LT-P50 4.2 天,CFR 18.5%四个数出来了,故事也就清楚了:团队每周部署 7 次,不算低;但一个改动平均要等 4.2 天才上线,且五个部署里就有一个要回滚或热修。
4.2 天和表 10-2 的 11.4 天不矛盾:前者按单个 commit 算,后者按一个需求从第一行代码到上线算,中间有多次 commit 和多轮修改。两个数分别回答「一个改动等多久」和「一个需求等多久」,报告时别混用。
3.5 把结论压成一条行动项
看板上写四行数字加一行字:
当前约束:等评审(3.1 天)+ 等测试环境(2.4 天)= 11.4 天里的 5.5 天
本季度行动项:评审 SLA 4 小时内首次响应;测试环境改为按 PR 自动创建
验收:LT-P50 从 4.2 天降到 2.5 天,CFR 不超过 20%一条就够了。同时开五个改进项,等于没有优先级。
四、常见误解
很多人以为 DORA 是考核工具,实际上它是诊断工具。两者对数据的影响完全相反:诊断要求数据难看也要真实,考核要求数据好看。那个团队的真实失败率是 18.5%,写进绩效后第一个月就能降到 4%——只要不登记事故。数字变好而系统没变,这套指标就失效了。
很多人以为部署频率越高越成熟,实际上高频配上高失败率是「高频返工」。四项要给的是一个组合,行业里也早就不再推崇某个单一阈值。另外,四档分群(elite/high/medium/low)来自 2019 年前后的报告,此后 DORA 官方报告已不再按这四档给基线,跨年份拿分档对比没有意义。
很多人以为恢复时长就是修 bug 的时长,实际上它只算到「服务恢复」为止,根因分析和写复盘都在此之外。把复盘时间算进来,会让团队为了指标好看而压缩复盘,而复盘恰恰是唯一能防止同类故障再来的环节。
五、小结
[《渐进式交付:金丝雀与自动回滚》](/guide/cicd/k8s-progressive-delivery.html)让发布有了刹车,这一章给刹车装上了仪表。
- 四项指标两两成对:部署频率与前置时间量吞吐,失败率与恢复时长量稳定性,单看任何一个都会把人带偏。
- 口径写在仓库里,不写在人的脑子里。什么叫一次部署、从哪个时间戳起算、什么算失败,先定死再采集。
- 采集靠流水线自己写事件,不靠人填表;算之前先查数据质量,字段缺失和时间戳倒挂比算法错误更常见。
- 价值流分析的意义是把注意力从流水线的 0.3 天挪到等待的 5.5 天,流动效率是那把尺子。
- 看板只放四个数、一个当前约束、一条行动项;指标对团队可见,对个人不可见。
六、相关文章
这一章的所有结论都建立在一件事上:数据是可信的。而「可信」不只是采集脚本写对,还包括谁能改流水线、谁能拿密钥、谁批准了这次发布、这个镜像到底由哪次构建产出。度量一旦推动团队把发布权限放开、把自动化做深,攻击面也跟着变大。[《进阶:流水线安全加固》](/guide/cicd/pipeline-security-hardening.html)讲流水线本身怎么加固:凭据怎么变成短期有效的、权限怎么收到最小、审计证据怎么留、SLSA 那几个等级到底在保证什么。
继续阅读:[《进阶:流水线安全加固》 进阶:流水线安全加固](/guide/cicd/pipeline-security-hardening.html)