高并发:缓存、异步与容量测算
本篇要点:给定一个峰值 QPS,你能算出需要几层缓存、队列能削掉多少峰、什么时候才该动读写分离和分表,并用压测验证而不是相信估算。 前置文章:《系统设计方法:四步走通一次设计》的估算里有一条没被验证的假设——缓存能挡住 2280 QPS 的课程列表读请求。这一章就是去验证它。
一、为什么需要它
还是那家健身品牌,《系统设计方法:四步走通一次设计》的方案上线三周后出了事。
放课瞬间,课程列表接口 P99 从 180ms 涨到 4.2 秒,网关 502 占了两成。值班同学第一反应是缓存没生效,重启 Redis,结果更糟——所有请求同时回源,MySQL 连接池 30 秒内打满,监控上 Threads_connected 顶到 512 的上限,主库 CPU 100%。
事后定位到两个原因。一是缓存里存的是“每节课的余位”,放课瞬间 1440 节课同时被改,全部失效,等于缓存集体下班。二是网关没对新上线的“门店切换”接口做限流,这个接口命中率低但每次都穿透到库,把连接池先占掉了一半。
缓存不是加一层就灵。它有失效的时刻,有被穿透的路径,还有自己变成故障源的可能。这一章把三件事分开讲:缓存怎么用才不出事、写峰怎么削、什么时候该动数据库结构。
二、核心概念
2.1 缓存的三种故障:穿透、击穿、雪崩
三个词经常被混用,触发条件完全不同。
缓存穿透(cache penetration)指查询一个根本不存在的数据,缓存里没有、库里也没有,每次请求都打到库。典型场景是攻击者用不存在的 ID 刷接口。
缓存击穿(cache breakdown)指某个热点键刚好过期,那一瞬间大量请求同时回源同一个键。
缓存雪崩(cache avalanche)指大量键在同一时刻失效,或者缓存整体不可用,请求全部涌向数据库。上面那次事故属于这一类,因为 1440 个键被同一批更新同时打掉。
类比一间便利店。穿透是有人反复问一个你从来没进过的货,每次都得打电话问总仓;击穿是货架上最畅销的那款刚好被买空,几十个人同时催你补货;雪崩是整排货架同时空了。
反例:给所有键设同一个 60 秒 TTL,并且整点刷新。整齐的过期时间等于给数据库排了一场定时洪水。
三类故障的修法也各不相同,不能混着用。穿透要在缓存之前挡,常见做法是布隆过滤器(Bloom filter)先判断“这个键可能存在吗”,或者把不存在的结果也缓存成一个空值、给个短 TTL。击穿要在回源那一刻合并,业界把它叫单飞(single-flight),同一进程内同一个键只放一个请求回源,其余等待它的结果。雪崩要在过期时刻上打散,加随机抖动,再配合放课前的主动预热。三种修法用错了位置,效果等于零。
2.2 异步化与队列削峰
异步化(asynchronization)指把不必立刻返回结果的动作从主链路摘出去,交给队列(message queue)在后台处理。
削峰比要算,不能凭感觉。定义是:峰值写入速率除以消费者处理速率。比值大于 1,队列就一定在涨;只要峰值持续时间乘以超出量小于队列容量,就撑得住。
反例:把扣名额做成异步。用户点了“预约”,接口返回“排队中”,结果名额在队列里被别的消费者先抢走,用户等了 6 秒看到“已满”。这种有强一致要求的动作不能异步,能异步的是通知、积分、埋点。
2.3 读写分离与分库分表:什么时候才动
读写分离(read-write splitting)指写走主库、读走从库,代价是从库有复制延迟(replication lag),刚写完立刻读可能读不到。
分库分表(sharding)指按某个键把数据拆到多个库或表,代价是跨分片查询、分布式事务、以及所有 SQL 都要带分片键。
两者都是重手段,启动阈值必须提前写成数字。
| 手段 | 启动阈值(写进文档的那种) | 引入的新问题 |
|---|---|---|
| 本地缓存 | 单个热点键 QPS 超过 5000 | 多实例间不一致,TTL 内读旧值 |
| Redis 缓存 | 单表读 QPS 超过 2000 且能容忍秒级旧值 | 多一个故障域、缓存与库不一致 |
| 队列削峰 | 峰值写入超过消费能力 3 倍且持续 30 秒以上 | 消息重复、顺序、堆积监控 |
| 读写分离 | 读请求占比超过 70% 且主库 CPU 持续超 60% | 复制延迟、写完读不到 |
| 分库分表 | 单表超过 5000 万行或单库写入 P99 超 50ms | 跨片查询、分布式事务、扩容成本 |
表 3-1 五种手段的启动阈值与代价
图 3-1 一次读请求的四道关口与对应的三种缓存故障
如图 3-1 所示,穿透挡在第二道关口,击穿挡在第三道,雪崩则靠第四道的随机 TTL 和预热来避免。三处各管一件事,缺一个都会漏。
三、动手实践
3.1 算清队列能削掉多少峰
先算,再决定要不要上队列。下面这段用峰值速率和消费速率算积压。
# queue_backlog.py —— 队列削峰是否够用
peak_rps, consume_rps = 480, 120 # 预约写入峰值 / 消费者处理速率
peak_seconds, cap = 60, 50_000 # 峰值持续秒数 / 队列容量上限
if peak_rps > consume_rps:
net = peak_rps - consume_rps
backlog = net * peak_seconds
print(f"净积压速率 {net} 条/秒")
print(f"峰值期积压 {backlog:,} 条,容量 {cap:,} 条")
print(f"排空需要 {backlog/consume_rps/60:.1f} 分钟")
print("结论:" + ("容量够,可上队列" if backlog < cap else "容量不够,需先扩消费者"))
else:
print("消费快于生产,不需要队列削峰")运行结果:
净积压速率 360 条/秒
峰值期积压 21,600 条,容量 50,000 条
排空需要 3.0 分钟
结论:容量够,可上队列四倍削峰比,峰值期积压 2.16 万条,队列容量 5 万条,留了一倍余量。如果没有这个计算,很容易把消费者按峰值 480 配,成本翻四倍;也容易把队列容量配成 1 万条,放课第 30 秒就开始丢消息。
需要说明,这里的前提是“预约结果可以延后确认”。如果业务要求用户点了立刻知道有没有抢到,就不能把扣名额异步化,只能异步化通知与积分。
3.2 给缓存 TTL 加抖动,避免同时失效
雪崩的修法很朴素:别让键在同一秒过期。下面演示加抖动前后同一批键的过期分布。
import random
random.seed(20261116)
keys = 1440 # 120 店 × 12 节课
base_ttl = 60
fixed = [base_ttl] * keys
jitter = [base_ttl + random.randint(0, 30) for _ in range(keys)]
print(f"固定 TTL: {len(set(fixed))} 个不同过期时刻")
print(f"加抖动后: {len(set(jitter))} 个不同过期时刻,"
f"跨度 {min(jitter)}-{max(jitter)} 秒")运行结果:
固定 TTL: 1 个不同过期时刻
加抖动后: 31 个不同过期时刻,跨度 60-90 秒固定 TTL 下 1440 个键在同一秒全部失效,那一秒的回源请求是 1440 个;加抖动后摊到 31 个时刻,最坏的那个时刻约 47 个。再加一层预热——放课前 5 分钟主动把 1440 个键刷一遍并重新设 TTL——实际回源就接近零。
还有一个动作这次没做,但值得写进出事手册:Redis 整体不可用时,课程列表接口直接返回上一次的本地快照(每个实例内存里存一份,1 秒更新一次),比回源 MySQL 安全得多。
3.3 用压测把估算换成曲线
估算给的是量级,压测给的是拐点。下面是一个基于 wrk 的最小压测脚本,逐级加压直到 P99 抬头。
#!/usr/bin/env bash
# loadtest.sh —— 逐级加压,抓 QPS / 平均延迟 / P99 三列
URL="http://127.0.0.1:8080/api/classes?store_id=88"
for c in 50 100 200 400 800; do
printf "并发 %-4s " "$c"
wrk -t4 -c"$c" -d15s --latency "$URL" | awk '
/^ +Latency$/ || /^ +Latency / {avg=$2}
/^ *99%/ {p99=$2}
/^Requests\/sec/{qps=$2}
END {printf "QPS %8s 平均 %8s P99 %8s\n", qps, avg, p99}'
done预期输出(8 核 32G 测试机,MySQL 同机,接口走缓存命中路径):
并发 50 QPS 6097.00 平均 8.20ms P99 14.00ms
并发 100 QPS 10989.00 平均 9.10ms P99 17.50ms
并发 200 QPS 16949.00 平均 11.80ms P99 26.00ms
并发 400 QPS 14598.00 平均 27.40ms P99 96.00ms
并发 800 QPS 8791.00 平均 91.00ms P99 320.00ms拐点在并发 200 到 400 之间。P99 从 26ms 跳到 96ms,翻了 3.7 倍,同时 QPS 反而从 1.69 万掉到 1.46 万——吞吐下降加延迟抬升,是排队开始的典型信号,比单看延迟可靠。按利特尔法则(Little's law,并发数等于 QPS 乘平均延迟)核对:200 / 0.0118 约等于 1.69 万,和实测 QPS 对得上,说明这组数没有伪造。
所以这台机器在 P99 ≤ 30ms 的要求下,可用吞吐取 1.7 万的六成,约 1 万 QPS。回头去看《系统设计方法:四步走通一次设计》的 2280 QPS 峰值:一台机器就够,而且余量四倍多。真正决定实例数的是可用性——两台起步,一台挂了还有一台,而不是容量。余量系数(headroom factor)按 1.5 到 2 取,低于 1.5 的方案不该签字;但余量超过 5 倍时要反问一句,是不是把成本花在了不必要的地方。
这里有一个常见的算错方式:拿并发数当 QPS 用。“并发 200 就是 200 QPS”,在小延迟下会低估两个数量级。并发和 QPS 之间隔着延迟这道换算,别跳过它。
四、常见误解
很多人以为缓存命中率越高越好。实际上命中率 99.9% 也可能出事:剩下的 0.1% 在 2280 QPS 下是每秒 2.3 次回源,听着不多,但如果它们集中在同一秒、又是同一个热点键,就是击穿。看命中率的同时要看回源的分布。
很多人以为分库分表能解决慢查询。实际上慢查询先查索引和执行计划。5256 万行的表,一条走对索引的查询是毫秒级,走错的查询分到 32 个表也一样慢,只是把慢分散了。
很多人以为压测可以上线后补。实际上压测的价值在于给出拐点位置,而拐点决定了限流阈值设多少。没有拐点数据,限流阈值只能拍脑袋,要么限太松没挡住雪崩,要么限太紧把正常用户拒了。
五、小结
《系统设计方法:四步走通一次设计》算出了 2280 QPS 和“瓶颈在读”这个结论,这一章把那个结论背后的每一个假设都压到实测曲线上。
- 穿透、击穿、雪崩是三种不同故障,分别对应布隆过滤器与空值缓存、单飞合并、随机 TTL 与预热。
- 削峰比要算:净积压速率乘峰值时长对比队列容量,比值不够就先扩消费者。
- 强一致的动作不能异步,能异步的是通知、积分、埋点。
- 读写分离与分库分表各有启动阈值,写成数字,到点触发。
- 压测找的是拐点,不是最大值;余量系数低于 1.5 的方案不该签字。
六、相关文章
这一章反复出现一个前提:“能容忍秒级旧值”。什么数据能忍、能忍多久,取决于它存在哪种库里。相关文章进入数据存储选型:关系库、文档库、列式库和搜索引擎各自擅长的查询模式,一致性级别怎么标,以及一个系统里同时用三种存储时数据怎么同步。
继续阅读:[《数据存储选型:关系库、NoSQL 与检索》 数据存储选型:关系库、NoSQL 与检索](/guide/architecture/data-storage-selection.html)