容错:限流、熔断、隔离与降级
本篇要点:能从压测曲线标定限流与熔断参数,说清舱壁、重试、超时三者为什么必须一起看,并把降级写成契约里可测试的分支。前置文章:《API 契约与版本演进》把接口形状固定成契约,这一章定"下游不可用时,这个接口怎么退化"。
为什么需要它
把 limitForPeriod 从 50 提到 200 的那个下午,预期是压测能多跑一点。压测跑完,QPS 从 600 涨到两万四,下游三百个连接全挂住。
问题不在改动的那个字段上。Resilience4j 的 RateLimiterConfig 里,limitRefreshPeriod 默认 500 纳秒,limitForPeriod 默认 50。两个一起看,默认配置等于每秒放行一亿次——那不是限流器,是个计数器。那个字段调大调小都不影响结果,因为两个默认值配在一起早就不限流了,压测只是把下游打到连接耗尽。跑在 JVM 里的限流器刷新周期以纳秒计,参数必须成对出现才有意义,参数表只看上半截就会踩这个坑。
第二个坑更常见。上线第一周,登录接口的熔断器在晚高峰打开了,所有用户拿到 503。原因是失败率把 4xx 算进了统计:密码输错是正常业务,晚高峰 401 占到 40%,熔断器老老实实按阈值动作。业务错误和下游故障,在熔断器的统计里必须分开。
这两个事故有共同点:都不报错。它们在某个流量拐点上突然显形,之前一切正常。容错组件的默认值是为"demo 能跑通"设计的,不是为生产标定的,所以这一章的重点不是"会不会用 API",而是"每个数字从哪来"。
核心概念
限流:两个参数必须成对
限流(rate limiting)是在单位时间内只放行固定数量的请求,超出的拒绝或排队。类比地铁闸机:每秒放进 200 人,闸门什么时候补票是另一件事——补票周期和每次补多少,两个参数共同决定放行速率。
Resilience4j 的两个字段正好对应这两件事:limitForPeriod 是每个周期放行的许可数,limitRefreshPeriod 是补票周期。默认 50 个 / 500 纳秒,折算下来每秒一亿次,等于没限。
还有一个字段容易被误读:timeoutDuration 的语义是"抢不到许可的线程在这里等多久",不是"请求超时"。默认 5 秒,放在网关这种位置,5 秒排队足够把两百个工作线程全挂住,限流器自己变成故障源。
反例:只把 limitForPeriod 从 50 调到 200,limitRefreshPeriod 留在默认值。这个动作在监控上看起来是"限流阈值提高了四倍",实际是"从每秒一亿次变成每秒四亿次",两者都等于不限。
熔断:一个状态机,两种触发
熔断器(circuit breaker)统计一段时间内的调用结果,错误比例过高就断开,让请求直接走降级,不再打到已经撑不住的下游。它有五个状态:CLOSED(正常放行)、OPEN(直接失败)、HALF_OPEN(放少量探测),以及两个只能人工置位的 FORCED_OPEN 和 METRICS_ONLY。
触发条件有两种,失败率(failure rate)和慢调用率(slow call rate)。业务异常要用 ignoreExceptions 摘出去,否则密码输错这类正常 4xx 会把熔断器推上去。失败率统计"结果是不是异常",慢调用率统计"耗时是不是超过阈值"。后者对超时场景反应快得多,原因在统计时机:下游 RT 从 80ms 涨到 3 秒时,失败率要等每个请求耗满 3 秒、并凑够窗口内的最小采样数才有统计意义;慢调用在 RT 越过阈值的那一刻就记一笔,第一个窗口就能触发。
图 6-1 熔断状态机与本篇使用的阈值
如图 6-1 所示,HALF_OPEN 放行的探测数决定了"恢复判断的样本量"。八台实例各放一个探测,合起来八个,这个数不是越多越好:探测多了,等于下游刚恢复就再打一轮流量。
舱壁:限制的是并发行数,不是队列长度
舱壁隔离(bulkhead)给每类下游调用分配独立的并发额度,一类调用卡死不会吃光所有线程。Resilience4j 的 BulkheadConfig 默认 maxConcurrentCalls=25、maxWaitDuration=0,语义正确但数字得自己算:25 指的是同时执行的调用数,不是队列长度。
两种实现要分清。信号量舱壁只做计数,多一次上下文切换都没有;线程池舱壁要额外管线程池大小和队列容量。同步阻塞调用用信号量够了,真正需要线程池舱壁的是"下游长时间无响应、连阻塞都不想付"的场景。
反例:把熔断的滑动窗口调小,指望它能限并发。窗口只统计不限制,窗口配 15,二十个线程照样一起进去打下游,要控并发只能用舱壁。
重试与退避:最容易放大流量的一环
重试(retry)在失败后重新发起调用。它的默认参数往往是最危险的:maxAttempts=3、固定间隔 500ms,意味着下游最需要喘气的时候,你给它三倍流量,而且所有客户端会在同一毫秒一起重发。
指数退避(exponential backoff)让间隔按倍率增长,再加随机抖动(jitter)把重发时刻打散。不加抖动的退避,只是换了个周期的同步重发。
两套库的分工
Sentinel 和 Resilience4j 定位差得远。截至 2026 年 11 月,生产上用的是 Sentinel 1.8.10(2026-05 发布)与 Resilience4j 2.4.0(2026-03 发布),这两个版本号不代表最新,升级前先读 release note 里标 breaking 的那几行。
Sentinel 的强项是规则能动态改、有控制台、有集群流控和热点参数限流,把限流从"改代码发版"变成"改配置";代价是要养一套控制台。Resilience4j 是个库,规则跟着应用配置走,改一次要重新发布,换来零外部依赖和干净的组合式装饰器。
分工按位置划:网关层用 Sentinel,因为故障现场半夜改阈值是刚需,而网关是全站流量唯一入口;业务服务内部用 Resilience4j,不为每个服务引一条到控制台的长连接,也不让服务启动依赖控制台可达。
降级:契约里的一个分支
降级(degradation)是下游不可用时返回一个"信息量减少但仍然合法"的结果。它必须是可测试的分支,不是异常处理:返回结构完整的对象,带 degraded: true 和 updatedAt 时间戳,前端据此显示"数据可能延迟"。
反例是常见写法:catch 里 return null,上游接着 NPE,错误码从 503 变成 500,监控上看不出区别。这不是降级,是把故障换了个名字。
动手实践
第一步,把限流器配成能用的样子,两个周期字段都显式写。
RateLimiterConfig config = RateLimiterConfig.custom()
.limitRefreshPeriod(Duration.ofSeconds(1)) // 必须写,默认 500ns 等于不限流
.limitForPeriod(200) // 每秒放行 200 个许可
.timeoutDuration(Duration.ZERO) // 拿不到就失败,不排队
.build();预期输出:单实例压测 200 QPS 时全部 2xx;把并发拉到 400,第 201 个请求开始直接返回 429,且 P99 不随并发上升——因为拿不到许可的请求没有等待。
第二步,把重试和舱壁一起配上。这两个必须同时改,只改一个会互相放大。
RetryConfig retryConfig = RetryConfig.custom()
.maxAttempts(3)
.intervalFunction(IntervalFunction.ofExponentialRandomBackoff(
Duration.ofMillis(200), 2.0d, 0.5d)) // 首次 200ms、倍率 2、±50% 抖动
.retryExceptions(IOException.class, TimeoutException.class)
.ignoreExceptions(BusinessException.class) // 业务错误不重试
.build();
BulkheadConfig bulkheadConfig = BulkheadConfig.custom()
.maxConcurrentCalls(25) // 下游连接池的 1/4
.maxWaitDuration(Duration.ZERO)
.build();预期输出:拦截器链上三个装饰器的顺序为 Retry → CircuitBreaker → Bulkhead;下游返回 IOException 时日志里出现三次调用的间隔约为 200ms、400ms,且带 ±50% 抖动;BusinessException 一次都不重发。
第三步,标定参数。先压出曲线,再找三个拐点:P99 从平缓转向陡峭的位置、下游连接池开始排队的位置、错误率第一次非零的位置。三者取最小再乘 0.7,才是单实例阈值。
| 参数 | 取值依据 | 最终值 |
|---|---|---|
| 单实例 QPS 上限 | 4C8G,P99 拐点 1150,取 70% | 800 |
| 令牌刷新周期 | 与业务峰值统计窗口对齐 | 1 秒 |
| 排队超时 | 网关层不允许排队 | 0 |
| 熔断失败率阈值 | 压测中失败率 51% 时下游已雪崩,提前到 40% | 40% |
| 慢调用判定阈值 | 下游正常 P99 是 80ms,取 10 倍 | 800ms |
| 统计窗口(按次数) | 800 QPS × 10 秒够采样 | 100 次 |
| 熔断时长 | 下游重启到可用平均 45 秒,取短于它 | 30 秒 |
| 半开探测请求数 | 每实例 1 个,共 8 实例 | 8 |
熔断时长那一行值得单独说:早期设 60 秒,比下游重启还长,等于每次故障都要多丢一分钟流量。设短了会多探测几次,代价小得多。
第四步,跑一次"关掉自动恢复"的演练。把熔断器人工置成 FORCED_OPEN,持续 30 分钟,看三件事:降级分支有没有真的被走到、告警有没有在 5 分钟内到人、恢复后有没有请求卡在旧状态。
// 演练专用:强制打开,不复位就一直熔断
circuitBreaker.transitionToForcedOpenState();预期输出:/actuator/circuitbreakers 里该实例的 state 显示 FORCED_OPEN;所有请求走降级分支返回带 degraded: true 的对象;把 30 分钟内的响应码统计出来,应该 100% 是 200(降级成功),而不是 503。
第一次跑这个演练时,发现半开探测的八个请求全打在同一个实例上——负载均衡用了会话保持,探测请求带着同一个 cookie。这个 bug 在日常流量里永远不会暴露,只有强制长时间打开才会显形。
常见误解
很多人以为 limitForPeriod 就是 QPS,其实它只是"每个刷新周期的许可数",除以 limitRefreshPeriod 才是速率。 默认 50 / 500ns 换算出来每秒一亿次,这个组合在压测里表现为"完全不限流",而且不会报任何配置错误。
很多人以为 timeoutDuration 是请求超时,其实它是抢不到许可时的排队时长。 默认 5 秒,在网关层等于把线程池交给限流器管;改成 0 才是干脆的 429。
很多人以为失败率熔断够用,其实它对超时反应太晚。 同一个下游从 80ms 劣化到 3 秒,失败率熔断在第 41 秒打开,慢调用熔断在第 9 秒打开;差的 32 秒里,线程池从 40 个活跃线程涨到 195 个。
很多人以为 Sentinel 和 Resilience4j 一起上更保险,其实是排查成本的来源。 规则分散在两个地方,得同时看两个面板才能判断是网关拦的还是服务自己熔的;两边统计口径还不同,Sentinel 数资源维度的 QPS 和线程数,Resilience4j 数装饰器调用结果,同一个请求在两个面板上对不上。
很多人以为降级就是 catch 里返回空对象,其实那只是把 503 换成 500。 降级返回的对象必须结构完整、带降级标记和时间戳,否则前端没法判断"这是没数据还是数据延迟"。
小结
- 限流参数成对出现:
limitForPeriod除以limitRefreshPeriod才是速率,timeoutDuration管排队,网关层应当设 0。 - 熔断有两个触发器,慢调用率比失败率早发现劣化;业务异常(4xx)必须用
ignoreExceptions摘出去。 - 阈值从压测曲线的三个拐点里读,取最小值再乘 0.7,剩下的 30% 留给突发和 GC 抖动。
- 舱壁限制的是并发数,滑动窗口只统计不限制;重试要带抖动且只对幂等接口开。
- 降级要写进契约,带
degraded和updatedAt,并且用 FORCED_OPEN 演练验证过。
回看《API 契约与版本演进》:契约里如果没有 degraded 字段,这一章的降级就没有地方落。
相关主题
容错管的是"一次调用失败时不拖垮全局",但还有一类问题它管不了:一次下单要写订单库、扣库存、通知支付,其中一步成功、一步失败,数据已经不一致了。《分布式事务:Saga、消息与幂等》讲分布式事务:Saga、消息与幂等,把失败的处理从单次调用扩展到一次业务流程。