Skip to content

可观测性与 SLO:用数据管架构 ​

本篇要点:把「系统健康吗」这个问题换成可算、可争议、可冻结发布的数字。前置文章:[《接口与流量入口设计》](/guide/architecture/api-design-and-gateway.html)我们把网关立成了所有请求的必经点,这一章就在这个位置上埋指标。

一、为什么需要它 ​

一家做在线报名的公司,2026 年 4 月,报名开放当天 9:00。监控大屏 12 块面板全绿,CPU 41%,内存 62%,磁盘 38%。客服在 9:07 开始收到投诉:「点提交没反应」「转圈转了半分钟」。

值班同学先看的是服务器指标,都没问题。九点二十分才有人去看网关的响应时间,发现下单接口的 p99 从 380ms 涨到了 9 秒,而错误率只有 0.4%——因为超时的请求最终大多成功了,只是慢了二十倍。CPU 不高,是因为线程全卡在数据库连接池上等锁。

这件事里三个环节都失效了。指标选错了对象:服务器资源不等于用户体验。没有一条能判断「慢到什么程度算事故」的线,所以 p99 从 380ms 到 9 秒没有任何东西报警。告警系统本身没坏,是压根没人配这条。而当他们终于决定要查,12 块面板、6 个服务、4 套日志,没有一条路径能告诉他们「慢在哪个调用上」。

可观测性(observability)不是「装齐三件套」,是在没预料到的问题出现时,还能靠已有数据把范围缩小。这一章讲怎么把这件事变成可执行的动作。

二、核心概念 ​

2.1 SLI、SLO、SLA 是三个不同岗位的东西 ​

三个词经常混用,混用之后 SLO 就变成了口号。

SLI(Service Level Indicator,服务水平指标)是一个比率,分子是「好事件」,分母是「全部有效事件」。它必须能从现有数据算出来,比如「HTTP 200 且耗时 < 400ms 的请求 / 全部非 4xx 请求」。

SLO(Service Level Objective,服务等级目标)是给这个比率定的内部目标,比如「30 天滚动窗口内 99.9%」。SLA(Service Level Agreement,服务等级协议)是写进合同、违约要赔钱的那一条,通常比内部 SLO 松一档。

关系是:SLA 是底线,SLO 是内部警戒线,中间那一档是缓冲。SLA 承诺 99.5%,SLO 就定 99.9%;反过来的公司,会把赔偿算成常规支出。

这里有个容易忽略的口径问题:分母该不该包含用户自己取消的请求?把 499 算进失败,SLO 会被用户行为污染;完全排除,又可能掩盖真实超时(客户端等不下去先断了)。多数团队的做法是把客户端主动断开的请求单独计数,不进 SLI,但要单独看趋势。

2.2 错误预算是把可靠性变成可花的钱 ​

错误预算(error budget)是 1 - SLO。SLO 99.9%、窗口 30 天,那么 30 天里允许失败的时间是 43 分 12 秒(30 × 24 × 60 × 0.001)。

这个数字的作用不是展示,是决定发布节奏。预算还剩很多,就加快上线,多试新东西;预算烧完了,就冻结功能发布,把人力转到稳定性上。它把「要不要冒险」从会议桌上的态度之争,变成一次除法。

反例:SLO 定 99.99% 但只有两个人和一套单机房。按 30 天算,允许中断 4 分 19 秒,一次数据库主从切换就可能吃掉全部预算。定得比能力高的 SLO,唯一效果是所有人学会忽略它。

2.3 黄金信号,以及什么时候该换 RED ​

Google SRE 给的四个黄金信号(golden signals)是延迟(latency)、流量(traffic)、错误(errors)、饱和度(saturation)。它的好处是通用,坏处是它面向「资源与服务」,落到具体某个 API 时不够细。

所以面向请求的服务常用 RED:请求速率(Rate)、错误数(Errors)、耗时分布(Duration)。面向资源(数据库、队列、主机)常用 USE:使用率(Utilization)、饱和度(Saturation)、错误(Errors)。

体系三个/四个维度用在哪典型指标
黄金信号延迟、流量、错误、饱和度全局盘子、容量判断p99、QPS、5xx 比例、队列深度
RED速率、错误、耗时每个对外接口rate(http_requests_total[5m])
USE使用率、饱和度、错误每个资源CPU 使用率、连接池等待数、磁盘错误

表 8-1 黄金信号、RED、USE 三套指标体系的适用位置

延迟必须分开看成功和失败。失败的请求往往返回得很快(400 比查库快),把它混进平均值会拉低延迟,看起来「变快了」,其实是一批请求根本没进业务逻辑。

图 8-1 一次故障里从「告警」收敛到「一个 span」的判断路径(span 是 trace 里的一个操作单元,带独立起止时间)

如图 8-1 所示,SLO 决定要不要当事故处理,trace(调用链,一次请求跨服务的完整调用树)决定去哪一行代码,两步的顺序不能颠倒。先钻 trace 常常是浪费时间——你可能在优化一个不影响 SLO 的慢接口。

2.4 告警要报症状,不要报原因 ​

最耗人的不是没告警,是每天三百条告警。常见的三条错法:按 CPU 阈值报警、按单次错误报警、所有告警都发到同一个群。

CPU 80% 报什么警?CPU 高但用户没感觉,那是资源利用率好;CPU 不高但 p99 爆了,真实事故反而漏报。所以告警应该挂在 SLI 上:错误预算的消耗速率。

单次错误报警的问题在量级。一个 QPS 3000 的服务,0.1% 的错误率就是每分钟 180 条错误,一条一条报没有意义,按比例报才有。

降噪的具体手段有四种,按投入产出排序:把同源告警聚成一条(一个机房挂了不该发 200 条)、加持续时间(for: 5m,抖动不报)、分级路由(P1 打电话,P3 进工单)、以及下面这个燃烧率方案。

2.5 多窗口燃烧率:让告警同时快和稳 ​

燃烧率(burn rate)是「当前错误率是 SLO 允许速率的几倍」。SLO 99.9%,允许错误率 0.1%;当前错误率 1%,燃烧率就是 10,按这个速度 3 天烧完预算。

单窗口告警两头难:窗口短,抖一下就报;窗口长,事故烧了半小时才报。Google SRE Workbook 给的做法是长短两个窗口同时满足才触发。

预算消耗长窗口短窗口燃烧率阈值含义
1 小时内烧掉 2%1h5m14.4页面级,立即处理
6 小时内烧掉 5%6h30m6工单级,当天处理
3 天内烧掉 10%3d6h1看板关注,趋势异常

表 8-2 三级燃烧率告警的窗口组合与处置级别

14.4 这个数怎么来的:30 天窗口是 720 小时,1 小时烧掉 2% 预算,等价于以 14.4 倍速消耗(14.4 / 720 = 2%)。短窗口的作用是「复位」——长窗口满足但短窗口已经恢复时,说明事故结束了,不该继续叫人。

三、动手实践 ​

三个练习按顺序做:先算预算,再把它写成告警规则,最后走一遍从告警到 span 的定位。

3.1 先算清楚这个月的预算 ​

python
# budget.py —— Python 3.11,无第三方依赖
WINDOW_DAYS = 30

def budget(slo, window_days=WINDOW_DAYS):
    total_min = window_days * 24 * 60
    bad_min = total_min * (1 - slo)
    return total_min, bad_min

def burn_rate(error_ratio, slo):
    allowed = 1 - slo
    return error_ratio / allowed

for slo in (0.999, 0.9995, 0.9999):
    total, bad = budget(slo)
    print(f"SLO {slo:.4%} -> 允许不可用 {bad*60:.0f} 秒 / {WINDOW_DAYS} 天")

print("当前错误率 1%,SLO 99.9% 时燃烧率 =", round(burn_rate(0.01, 0.999), 1))
print("燃烧率 14.4 时预算耗尽需要", round(720 / 14.4, 1), "小时")

运行结果:

text
SLO 99.9000% -> 允许不可用 2592 秒 / 30 天
SLO 99.9500% -> 允许不可用 1296 秒 / 30 天
SLO 99.9900% -> 允许不可用 259 秒 / 30 天
当前错误率 1%,SLO 99.9% 时燃烧率 = 10.0
燃烧率 14.4 时预算耗尽需要 50.0 小时

2592 秒就是 43 分 12 秒,99.99% 对应 4 分 19 秒。把这两行念给业务方听,比讲一堆百分比有效得多——「一个月只允许停 4 分钟」这句话会直接改变他们对发布窗口的态度。

3.2 把燃烧率写成 Prometheus 规则 ​

yaml
# slo-rules.yml —— 截至 2026 年 11 月,Prometheus 2.45+ 与 3.x 的 rule 文件格式一致
groups:
  - name: slo-api
    interval: 30s
    rules:
      # 长短两个窗口都先算成失败比例,告警表达式只做比较
      - record: job:sli_errors:ratio1h
        expr: |
          sum(rate(http_requests_total{job="api",code=~"5.."}[1h]))
          /
          sum(rate(http_requests_total{job="api"}[1h]))
      - record: job:sli_errors:ratio5m
        expr: |
          sum(rate(http_requests_total{job="api",code=~"5.."}[5m]))
          /
          sum(rate(http_requests_total{job="api"}[5m]))

      - alert: ApiErrorBudgetBurnFast
        expr: |
          job:sli_errors:ratio1h > (14.4 * 0.001)
          and
          job:sli_errors:ratio5m > (14.4 * 0.001)
        for: 2m
        labels:
          severity: page
        annotations:
          summary: "1 小时与 5 分钟窗口燃烧率同时超过 14.4,按此速度 50 小时烧完 30 天预算"

0.001 是 SLO 99.9% 对应的允许错误率,14.4 * 0.001 = 0.0144,也就是 1.44%。两个窗口的条件都成立才触发:1 小时窗口保证「真的在烧」,5 分钟窗口保证「现在还在烧」,只满足前者说明事故可能已经结束。用 promtool 检查格式:

运行结果(promtool check rules slo-rules.yml):

text
Checking slo-rules.yml
  SUCCESS: 3 rules found

有两个坑要提前说。第一,[1h] 这个区间要求至少两个样本,抓取间隔配成 1 分钟时,1 小时的窗口只有 60 个样本点,够用;但如果某个实例刚重启过、或者抓取 target 刚被加进来,rate 会因为样本不足直接不返回,告警静默。这类「新实例没告警」的坑在扩容当天最容易遇到。第二,告警表达式里写死 14.4 * 0.001,改 SLO 时两个数字必须一起改;把允许错误率也做成记录规则(比如 job:slo_error_ratio)能少一处漏改的机会。

告警恢复时间也要写。for: 2m 让抖动不报,但没定义「什么时候算恢复」。Prometheus 的 alert 会在表达式不再为真时自动 resolve,只是如果表达式依赖 5 分钟窗口,恢复也会有 5 分钟延迟。

3.3 从告警走到 span ​

一次真实定位长这样。9:12 告警触发,操作顺序是四步,每步都可能提前结束。

bash
# 1. 确认影响面:按路由排前 5 的请求速率
curl -s 'http://prom:9090/api/v1/query' \
  --data-urlencode 'query=topk(5, sum by (route) (rate(http_requests_total{job="api"}[5m])))'

# 2. 取这个接口 p99,再用 exemplar 接口捞出对应的 trace id
curl -s 'http://prom:9090/api/v1/query' \
  --data-urlencode 'query=histogram_quantile(0.99, sum by (le) (rate(http_request_duration_seconds_bucket{route="/api/enroll"}[5m])))'
curl -s 'http://prom:9090/api/v1/query_exemplars' \
  --data-urlencode 'query=http_request_duration_seconds_bucket{route="/api/enroll"}' \
  --data-urlencode "start=$(date -u -v-10M +%s)" --data-urlencode "end=$(date -u +%s)"   # macOS 的 date;Linux 写 -d '10 minutes ago'

# 3. 用 trace id 拉全链路(Tempo 2.x 的 /api/traces 返回 OTLP JSON)
curl -s "http://tempo:3200/api/traces/4f2a9c1b8e7d6a05" \
  | jq '.. | objects | select(has("spanId")) | {name, duration: .endTimeUnixNano - .startTimeUnixNano}'

第 2 步用到的 exemplar(样本点,挂在直方图某个桶上的一条真实请求 trace id)需要 --enable-feature=exemplar-storage 启动参数,且抓取端要按 OpenMetrics 格式接收,普通文本格式会把 exemplar 静默丢掉。第 3 步的 .. | objects | select(has("spanId")) 是为了绕开不同 Tempo 版本顶层字段名不一致(batches 与 resourceSpans)的问题。

运行结果(第 3 步节选,单位纳秒):

json
{"name": "POST /api/enroll",      "duration": 8720000000}
{"name": "enroll.Service.Create", "duration": 8710000000}
{"name": "db.pool.Acquire",       "duration": 8100000000}
{"name": "db.Query",              "duration": 590000000}

8.1 秒花在拿连接上,真正的查询只有 0.59 秒。这条链路直接排除了 SQL 慢查询、下游 RPC、GC 三种猜测,剩下的方向是连接池太小或事务不释放。

这就是「从监控到可观测」的实际差别。监控告诉你有一条曲线不对,可观测性让你在五分钟内说出是哪一行。

四、常见误解 ​

很多人以为 SLO 定得越高越专业,实际上超出架构能力的 SLO 会被所有人当装饰。单机房、无自动切换的系统定 99.99%,等于把 4 分钟停机预算交给运气;团队很快学会在评审时说「这个我们尽量」,然后没人再看那个数字。定 SLO 的正确做法是从过去 90 天的真实达成率往上抬一档,而不是从客户期望往里砍。同一批人还常在另一个地方漏算:把 SLO 只挂在错误率上,忘了延迟。用户感知的「不能用」里,超时往往比 500 多得多,而超时在错误率里可能一条都不算。

很多人以为告警越多覆盖越全,实际上告警的价值与数量成反比。三百条告警的结果是所有人开免打扰,真事故那条也淹没在里面。一个值班同学能持续响应的告警量大概在一天几条这个量级,超过就该合并。

很多人以为上了链路追踪就能定位问题,实际上采样率和埋点粒度决定了它能不能用。1% 采样下,一个每小时出现三次的慢请求可能一条都抓不到;只埋了入口和出口,中间那段仍然是个黑盒。trace 的价值在于 span 的划分粒度与业务语义,而不在于有没有装 Jaeger。

五、小结 ​

[《接口与流量入口设计》](/guide/architecture/api-design-and-gateway.html)把入口收成了网关,这一章给这个入口装上了能判断对错的标尺。

  • SLI 是比率,SLO 是内部目标,SLA 是合同底线。三者错位,稳定性管理就变成扯皮。
  • 错误预算 1 - SLO 是发布节奏的开关:预算充足就多发布,烧完就冻结功能、转做稳定性。
  • 黄金信号看全局,RED 看接口,USE 看资源。延迟要按成功/失败拆开,否则失败请求会「拉低」平均延迟。
  • 告警挂在 SLI 上而不是 CPU 上;多窗口燃烧率解决「既快又稳」,短窗口负责复位。
  • 监控回答「有没有问题」,可观测性回答「问题在哪」。前者靠聚合指标,后者靠带上下文的 span 与 exemplar。

六、相关文章 ​

到这一章为止,一台系统需要什么、怎么扛住流量、怎么容灾、入口怎么设计、怎么用数据判断好坏,都走了一遍。但这些决定背后有个更前置的问题一直没谈:为什么选这套消息队列、这个数据库、这门语言。[《技术选型:评估框架与决策记录》](/guide/architecture/tech-selection-framework.html)讲选型——评估维度怎么定权重、POC 要验什么、以及怎么把「当时为什么这么选」写成一份半年后还看得懂的记录。

继续阅读:[《技术选型:评估框架与决策记录》 技术选型:评估框架与决策记录](/guide/architecture/tech-selection-framework.html)