可观测性与 SLO:用数据管架构
本篇要点:把「系统健康吗」这个问题换成可算、可争议、可冻结发布的数字。前置文章:[《接口与流量入口设计》](/guide/architecture/api-design-and-gateway.html)我们把网关立成了所有请求的必经点,这一章就在这个位置上埋指标。
一、为什么需要它
一家做在线报名的公司,2026 年 4 月,报名开放当天 9:00。监控大屏 12 块面板全绿,CPU 41%,内存 62%,磁盘 38%。客服在 9:07 开始收到投诉:「点提交没反应」「转圈转了半分钟」。
值班同学先看的是服务器指标,都没问题。九点二十分才有人去看网关的响应时间,发现下单接口的 p99 从 380ms 涨到了 9 秒,而错误率只有 0.4%——因为超时的请求最终大多成功了,只是慢了二十倍。CPU 不高,是因为线程全卡在数据库连接池上等锁。
这件事里三个环节都失效了。指标选错了对象:服务器资源不等于用户体验。没有一条能判断「慢到什么程度算事故」的线,所以 p99 从 380ms 到 9 秒没有任何东西报警。告警系统本身没坏,是压根没人配这条。而当他们终于决定要查,12 块面板、6 个服务、4 套日志,没有一条路径能告诉他们「慢在哪个调用上」。
可观测性(observability)不是「装齐三件套」,是在没预料到的问题出现时,还能靠已有数据把范围缩小。这一章讲怎么把这件事变成可执行的动作。
二、核心概念
2.1 SLI、SLO、SLA 是三个不同岗位的东西
三个词经常混用,混用之后 SLO 就变成了口号。
SLI(Service Level Indicator,服务水平指标)是一个比率,分子是「好事件」,分母是「全部有效事件」。它必须能从现有数据算出来,比如「HTTP 200 且耗时 < 400ms 的请求 / 全部非 4xx 请求」。
SLO(Service Level Objective,服务等级目标)是给这个比率定的内部目标,比如「30 天滚动窗口内 99.9%」。SLA(Service Level Agreement,服务等级协议)是写进合同、违约要赔钱的那一条,通常比内部 SLO 松一档。
关系是:SLA 是底线,SLO 是内部警戒线,中间那一档是缓冲。SLA 承诺 99.5%,SLO 就定 99.9%;反过来的公司,会把赔偿算成常规支出。
这里有个容易忽略的口径问题:分母该不该包含用户自己取消的请求?把 499 算进失败,SLO 会被用户行为污染;完全排除,又可能掩盖真实超时(客户端等不下去先断了)。多数团队的做法是把客户端主动断开的请求单独计数,不进 SLI,但要单独看趋势。
2.2 错误预算是把可靠性变成可花的钱
错误预算(error budget)是 1 - SLO。SLO 99.9%、窗口 30 天,那么 30 天里允许失败的时间是 43 分 12 秒(30 × 24 × 60 × 0.001)。
这个数字的作用不是展示,是决定发布节奏。预算还剩很多,就加快上线,多试新东西;预算烧完了,就冻结功能发布,把人力转到稳定性上。它把「要不要冒险」从会议桌上的态度之争,变成一次除法。
反例:SLO 定 99.99% 但只有两个人和一套单机房。按 30 天算,允许中断 4 分 19 秒,一次数据库主从切换就可能吃掉全部预算。定得比能力高的 SLO,唯一效果是所有人学会忽略它。
2.3 黄金信号,以及什么时候该换 RED
Google SRE 给的四个黄金信号(golden signals)是延迟(latency)、流量(traffic)、错误(errors)、饱和度(saturation)。它的好处是通用,坏处是它面向「资源与服务」,落到具体某个 API 时不够细。
所以面向请求的服务常用 RED:请求速率(Rate)、错误数(Errors)、耗时分布(Duration)。面向资源(数据库、队列、主机)常用 USE:使用率(Utilization)、饱和度(Saturation)、错误(Errors)。
| 体系 | 三个/四个维度 | 用在哪 | 典型指标 |
|---|---|---|---|
| 黄金信号 | 延迟、流量、错误、饱和度 | 全局盘子、容量判断 | p99、QPS、5xx 比例、队列深度 |
| RED | 速率、错误、耗时 | 每个对外接口 | rate(http_requests_total[5m]) |
| USE | 使用率、饱和度、错误 | 每个资源 | CPU 使用率、连接池等待数、磁盘错误 |
表 8-1 黄金信号、RED、USE 三套指标体系的适用位置
延迟必须分开看成功和失败。失败的请求往往返回得很快(400 比查库快),把它混进平均值会拉低延迟,看起来「变快了」,其实是一批请求根本没进业务逻辑。
图 8-1 一次故障里从「告警」收敛到「一个 span」的判断路径(span 是 trace 里的一个操作单元,带独立起止时间)
如图 8-1 所示,SLO 决定要不要当事故处理,trace(调用链,一次请求跨服务的完整调用树)决定去哪一行代码,两步的顺序不能颠倒。先钻 trace 常常是浪费时间——你可能在优化一个不影响 SLO 的慢接口。
2.4 告警要报症状,不要报原因
最耗人的不是没告警,是每天三百条告警。常见的三条错法:按 CPU 阈值报警、按单次错误报警、所有告警都发到同一个群。
CPU 80% 报什么警?CPU 高但用户没感觉,那是资源利用率好;CPU 不高但 p99 爆了,真实事故反而漏报。所以告警应该挂在 SLI 上:错误预算的消耗速率。
单次错误报警的问题在量级。一个 QPS 3000 的服务,0.1% 的错误率就是每分钟 180 条错误,一条一条报没有意义,按比例报才有。
降噪的具体手段有四种,按投入产出排序:把同源告警聚成一条(一个机房挂了不该发 200 条)、加持续时间(for: 5m,抖动不报)、分级路由(P1 打电话,P3 进工单)、以及下面这个燃烧率方案。
2.5 多窗口燃烧率:让告警同时快和稳
燃烧率(burn rate)是「当前错误率是 SLO 允许速率的几倍」。SLO 99.9%,允许错误率 0.1%;当前错误率 1%,燃烧率就是 10,按这个速度 3 天烧完预算。
单窗口告警两头难:窗口短,抖一下就报;窗口长,事故烧了半小时才报。Google SRE Workbook 给的做法是长短两个窗口同时满足才触发。
| 预算消耗 | 长窗口 | 短窗口 | 燃烧率阈值 | 含义 |
|---|---|---|---|---|
| 1 小时内烧掉 2% | 1h | 5m | 14.4 | 页面级,立即处理 |
| 6 小时内烧掉 5% | 6h | 30m | 6 | 工单级,当天处理 |
| 3 天内烧掉 10% | 3d | 6h | 1 | 看板关注,趋势异常 |
表 8-2 三级燃烧率告警的窗口组合与处置级别
14.4 这个数怎么来的:30 天窗口是 720 小时,1 小时烧掉 2% 预算,等价于以 14.4 倍速消耗(14.4 / 720 = 2%)。短窗口的作用是「复位」——长窗口满足但短窗口已经恢复时,说明事故结束了,不该继续叫人。
三、动手实践
三个练习按顺序做:先算预算,再把它写成告警规则,最后走一遍从告警到 span 的定位。
3.1 先算清楚这个月的预算
# budget.py —— Python 3.11,无第三方依赖
WINDOW_DAYS = 30
def budget(slo, window_days=WINDOW_DAYS):
total_min = window_days * 24 * 60
bad_min = total_min * (1 - slo)
return total_min, bad_min
def burn_rate(error_ratio, slo):
allowed = 1 - slo
return error_ratio / allowed
for slo in (0.999, 0.9995, 0.9999):
total, bad = budget(slo)
print(f"SLO {slo:.4%} -> 允许不可用 {bad*60:.0f} 秒 / {WINDOW_DAYS} 天")
print("当前错误率 1%,SLO 99.9% 时燃烧率 =", round(burn_rate(0.01, 0.999), 1))
print("燃烧率 14.4 时预算耗尽需要", round(720 / 14.4, 1), "小时")运行结果:
SLO 99.9000% -> 允许不可用 2592 秒 / 30 天
SLO 99.9500% -> 允许不可用 1296 秒 / 30 天
SLO 99.9900% -> 允许不可用 259 秒 / 30 天
当前错误率 1%,SLO 99.9% 时燃烧率 = 10.0
燃烧率 14.4 时预算耗尽需要 50.0 小时2592 秒就是 43 分 12 秒,99.99% 对应 4 分 19 秒。把这两行念给业务方听,比讲一堆百分比有效得多——「一个月只允许停 4 分钟」这句话会直接改变他们对发布窗口的态度。
3.2 把燃烧率写成 Prometheus 规则
# slo-rules.yml —— 截至 2026 年 11 月,Prometheus 2.45+ 与 3.x 的 rule 文件格式一致
groups:
- name: slo-api
interval: 30s
rules:
# 长短两个窗口都先算成失败比例,告警表达式只做比较
- record: job:sli_errors:ratio1h
expr: |
sum(rate(http_requests_total{job="api",code=~"5.."}[1h]))
/
sum(rate(http_requests_total{job="api"}[1h]))
- record: job:sli_errors:ratio5m
expr: |
sum(rate(http_requests_total{job="api",code=~"5.."}[5m]))
/
sum(rate(http_requests_total{job="api"}[5m]))
- alert: ApiErrorBudgetBurnFast
expr: |
job:sli_errors:ratio1h > (14.4 * 0.001)
and
job:sli_errors:ratio5m > (14.4 * 0.001)
for: 2m
labels:
severity: page
annotations:
summary: "1 小时与 5 分钟窗口燃烧率同时超过 14.4,按此速度 50 小时烧完 30 天预算"0.001 是 SLO 99.9% 对应的允许错误率,14.4 * 0.001 = 0.0144,也就是 1.44%。两个窗口的条件都成立才触发:1 小时窗口保证「真的在烧」,5 分钟窗口保证「现在还在烧」,只满足前者说明事故可能已经结束。用 promtool 检查格式:
运行结果(promtool check rules slo-rules.yml):
Checking slo-rules.yml
SUCCESS: 3 rules found有两个坑要提前说。第一,[1h] 这个区间要求至少两个样本,抓取间隔配成 1 分钟时,1 小时的窗口只有 60 个样本点,够用;但如果某个实例刚重启过、或者抓取 target 刚被加进来,rate 会因为样本不足直接不返回,告警静默。这类「新实例没告警」的坑在扩容当天最容易遇到。第二,告警表达式里写死 14.4 * 0.001,改 SLO 时两个数字必须一起改;把允许错误率也做成记录规则(比如 job:slo_error_ratio)能少一处漏改的机会。
告警恢复时间也要写。for: 2m 让抖动不报,但没定义「什么时候算恢复」。Prometheus 的 alert 会在表达式不再为真时自动 resolve,只是如果表达式依赖 5 分钟窗口,恢复也会有 5 分钟延迟。
3.3 从告警走到 span
一次真实定位长这样。9:12 告警触发,操作顺序是四步,每步都可能提前结束。
# 1. 确认影响面:按路由排前 5 的请求速率
curl -s 'http://prom:9090/api/v1/query' \
--data-urlencode 'query=topk(5, sum by (route) (rate(http_requests_total{job="api"}[5m])))'
# 2. 取这个接口 p99,再用 exemplar 接口捞出对应的 trace id
curl -s 'http://prom:9090/api/v1/query' \
--data-urlencode 'query=histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket{route="/api/enroll"}[5m])))'
curl -s 'http://prom:9090/api/v1/query_exemplars' \
--data-urlencode 'query=http_request_duration_seconds_bucket{route="/api/enroll"}' \
--data-urlencode "start=$(date -u -v-10M +%s)" --data-urlencode "end=$(date -u +%s)" # macOS 的 date;Linux 写 -d '10 minutes ago'
# 3. 用 trace id 拉全链路(Tempo 2.x 的 /api/traces 返回 OTLP JSON)
curl -s "http://tempo:3200/api/traces/4f2a9c1b8e7d6a05" \
| jq '.. | objects | select(has("spanId")) | {name, duration: .endTimeUnixNano - .startTimeUnixNano}'第 2 步用到的 exemplar(样本点,挂在直方图某个桶上的一条真实请求 trace id)需要 --enable-feature=exemplar-storage 启动参数,且抓取端要按 OpenMetrics 格式接收,普通文本格式会把 exemplar 静默丢掉。第 3 步的 .. | objects | select(has("spanId")) 是为了绕开不同 Tempo 版本顶层字段名不一致(batches 与 resourceSpans)的问题。
运行结果(第 3 步节选,单位纳秒):
{"name": "POST /api/enroll", "duration": 8720000000}
{"name": "enroll.Service.Create", "duration": 8710000000}
{"name": "db.pool.Acquire", "duration": 8100000000}
{"name": "db.Query", "duration": 590000000}8.1 秒花在拿连接上,真正的查询只有 0.59 秒。这条链路直接排除了 SQL 慢查询、下游 RPC、GC 三种猜测,剩下的方向是连接池太小或事务不释放。
这就是「从监控到可观测」的实际差别。监控告诉你有一条曲线不对,可观测性让你在五分钟内说出是哪一行。
四、常见误解
很多人以为 SLO 定得越高越专业,实际上超出架构能力的 SLO 会被所有人当装饰。单机房、无自动切换的系统定 99.99%,等于把 4 分钟停机预算交给运气;团队很快学会在评审时说「这个我们尽量」,然后没人再看那个数字。定 SLO 的正确做法是从过去 90 天的真实达成率往上抬一档,而不是从客户期望往里砍。同一批人还常在另一个地方漏算:把 SLO 只挂在错误率上,忘了延迟。用户感知的「不能用」里,超时往往比 500 多得多,而超时在错误率里可能一条都不算。
很多人以为告警越多覆盖越全,实际上告警的价值与数量成反比。三百条告警的结果是所有人开免打扰,真事故那条也淹没在里面。一个值班同学能持续响应的告警量大概在一天几条这个量级,超过就该合并。
很多人以为上了链路追踪就能定位问题,实际上采样率和埋点粒度决定了它能不能用。1% 采样下,一个每小时出现三次的慢请求可能一条都抓不到;只埋了入口和出口,中间那段仍然是个黑盒。trace 的价值在于 span 的划分粒度与业务语义,而不在于有没有装 Jaeger。
五、小结
[《接口与流量入口设计》](/guide/architecture/api-design-and-gateway.html)把入口收成了网关,这一章给这个入口装上了能判断对错的标尺。
- SLI 是比率,SLO 是内部目标,SLA 是合同底线。三者错位,稳定性管理就变成扯皮。
- 错误预算
1 - SLO是发布节奏的开关:预算充足就多发布,烧完就冻结功能、转做稳定性。 - 黄金信号看全局,RED 看接口,USE 看资源。延迟要按成功/失败拆开,否则失败请求会「拉低」平均延迟。
- 告警挂在 SLI 上而不是 CPU 上;多窗口燃烧率解决「既快又稳」,短窗口负责复位。
- 监控回答「有没有问题」,可观测性回答「问题在哪」。前者靠聚合指标,后者靠带上下文的 span 与 exemplar。
六、相关文章
到这一章为止,一台系统需要什么、怎么扛住流量、怎么容灾、入口怎么设计、怎么用数据判断好坏,都走了一遍。但这些决定背后有个更前置的问题一直没谈:为什么选这套消息队列、这个数据库、这门语言。[《技术选型:评估框架与决策记录》](/guide/architecture/tech-selection-framework.html)讲选型——评估维度怎么定权重、POC 要验什么、以及怎么把「当时为什么这么选」写成一份半年后还看得懂的记录。
继续阅读:[《技术选型:评估框架与决策记录》 技术选型:评估框架与决策记录](/guide/architecture/tech-selection-framework.html)