异步消息可靠性:从选型、顺序、堆积到 Exactly-once 的真实边界
一、学完能判断什么
- 说清 Kafka、Pulsar、RocketMQ 在"可靠性"这件事上的三种不同侧重,并据此做选型
- 判断一段消费逻辑到底需不需要顺序性,以及要做顺序性时必须同时付出什么代价
- 拿到一个堆积告警时,按什么顺序排查,每一步看什么指标
- 准确描述 Exactly-once 在 Kafka 事务中覆盖的边界,说清它不覆盖什么
最后一条是重点。Exactly-once 是误用最多的词,误用方向几乎总是"把它当成业务层面的不重不漏"。
这篇的起点是一条被低估的差别:三条队列里只有一条没有内置消费重试。选型时没人看这一行,故障时它决定了你的值班表。
二、三条队列在可靠性上各押了哪一边
选型讨论经常变成功能清单对比,那没抓住要害。三者对可靠性的取舍完全不同。
图 2-1 三种可靠性路径的分叉点
Kafka 的核心是"日志 + 位点"。消息按分区追加,消费者只维护一个位点,重放就是把位点往回拨。代价是分区内严格有序、跨分区完全无序。
Pulsar 的核心是"分层存储 + 存储计算分离":BookKeeper 管存储、Broker 无状态,扩容比 Kafka 直接。Key_Shared 提供"同 key 有序、不同 key 并行",Kafka 无原生等价物。
RocketMQ 的核心是"面向业务的事务与重试"。半消息加回查解决"本地事务与发消息如何原子",消费失败按级别自动投递,超过次数进死信。这两件事 Kafka 都能做,但都要自己写。
版本方面,截至 2026 年 11 月(见 Kafka 下载页、Pulsar):Kafka 4.4.0(10 月 22 日发布),4.0 起移除 ZooKeeper,Broker 要求 Java 17;Pulsar 5.0.1(10 月 26 日);RocketMQ 5.5.1(8 月 20 日,见 下载页)。
| 维度 | Kafka 4.4.0 | Pulsar 5.0.1 | RocketMQ 5.5.1 |
|---|---|---|---|
| 存储模型 | Broker 本地日志 | BookKeeper 分层存储 | CommitLog + ConsumeQueue |
| 顺序性粒度 | 分区 | 分区 / Key_Shared 的 key | 队列(MessageQueue) |
| 事务消息 | 支持(KIP-890 服务端防护) | 支持事务 | 半消息 + 事务回查 |
| 消费失败重试 | 无内置,需自行实现 | 有负确认与重投递 | 内置重试级别 + 死信队列 |
| 延迟消息 | 不支持原生(需外部实现) | 支持 | 支持 18 个级别 |
| 运维复杂度 | 中(KRaft 后下降) | 高(BookKeeper + Broker) | 中 |
表里最容易忽略的是重试那一行。Kafka 没有内置重试:消费抛异常时位点不提交,下次拉取还是这条消息,看着像重试,实际叫"卡住"——不跳过、不计数、也不进死信。
三、导入案例:一次 47 分钟的堆积
2026 年 3 月的一个周二上午,订单履约服务的消费延迟从 200 毫秒涨到 47 分钟。值班同学第一反应是扩容:6 个实例扩到 18 个。
lag 没降,反而涨得更快。
第二个动作查耗时,单条 P99 从 30 毫秒涨到 2.4 秒,判断是数据库慢。查数据库,一切正常。
第三个动作才找到原因:topic 有 24 个分区,并发度却被限制了。max.poll.records 是 500,一批处理完才提交位点,而处理逻辑里有个同步 HTTP 调用、超时 3 秒。每批最坏 500×3 秒,超过 max.poll.interval.ms 默认的 5 分钟。
扩容反而放大了问题:实例越多 rebalance 越频繁,而每次 rebalance 期间整个组停止消费。
教训不在配置,在排查顺序。lag 上涨至少有四种成因,扩容只对其中一种有效。
四、顺序性与幂等:必须成对出现
先说结论:做了顺序性就必须做幂等;只做幂等不一定要顺序性。
原因在实现方式。Kafka 保证分区内有序靠两点:同 key 进同分区、单分区单线程消费。故障时这必然导致重放,消费逻辑不幂等就是数据错乱。
RocketMQ 更严格:用队列锁把整个 MessageQueue 锁给一个消费者,并发上限就是队列数,改了要停机迁移。
幂等有四种常见做法,代价依次上升:
| 做法 | 实现 | 代价 | 适用 |
|---|---|---|---|
| 唯一索引 | 业务表加唯一约束 | 几乎为零 | 天然有业务主键的写入 |
| 状态机校验 | 只允许特定状态迁移 | 低 | 有明确生命周期的实体 |
| 去重表 | 独立表记录已处理 ID | 中,需清理 | 无业务主键的操作 |
| 分布式锁 | Redis / 数据库行锁 | 高,有单点风险 | 强竞争场景 |
最容易被忽略的是去重表清理。记录只增不删,一年后比业务表还大。我们按时间戳分区、保留 7 天、用 DROP PARTITION 清理,比 DELETE 快两个数量级。
-- 去重表按天分区,保留 7 天,用 DROP PARTITION 清理
CREATE TABLE msg_dedup (
msg_id VARCHAR(64) NOT NULL,
consumed_at DATETIME NOT NULL,
PRIMARY KEY (msg_id, consumed_at)
) PARTITION BY RANGE COLUMNS(consumed_at) (
PARTITION p20261116 VALUES LESS THAN ('2026-11-17')
);
-- 消费逻辑:插入成功才处理,插入冲突说明是重放
INSERT INTO msg_dedup (msg_id, consumed_at) VALUES (?, NOW());
-- 预期输出:Affected rows: 1 → 首次处理
-- ERROR 1062 (23000): Duplicate entry → 重放,直接 ack 不处理这段有个坑:消费逻辑失败回滚时去重记录跟着回滚(同事务),下次重投能正常处理,这是对的。但若两者分属两个事务,就会出现"去重成功、业务失败",消息永久丢失。
五、堆积排查的判定顺序
四种成因按排查成本从低到高排,顺序有讲究:
图 5-1 堆积排查的五步判定
第一步看生产速率,两个数字比一下三十秒完成。那次生产速率是平的。
第二步看 rebalance 次数。--describe 只显示当前状态,看历史要靠 JMX 的 rebalance-rate-per-hour。这个指标平时没人看,故障时才发现没采集。
# 查看消费者组的 lag 与成员分配
kafka-consumer-groups.sh --bootstrap-server broker:9092 \
--describe --group order-fulfillment
# 预期输出:
# TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID
# order.evt 0 88213341 88471002 257661 consumer-3-...
# order.evt 1 91200455 91200811 356 consumer-7-...
# 观察点:lag 是否集中在少数分区(热点 key),还是均匀分布(整体能力不足)lag 的分布比绝对值信息量大得多。集中在少数分区说明存在热点 key,扩容无用;均匀分布才是整体能力不足。
第三、四步看耗时分布与分区数、实例数的匹配。顺序不能换:先看耗时能排除更常见的原因。
第五步查配额。Kafka 的 client.quota.callback 与 Pulsar 的订阅限流都可能把速率压在某个值上,这类限制在配置里,不在监控里。
那次故障的处理是三件事:max.poll.records 从 500 降到 50;同步 HTTP 调用改批量、超时 500 毫秒;max.poll.interval.ms 从 5 分钟提到 10 分钟。改完 lag 12 分钟内清空,实例数回到 6 个。
六、Exactly-once 覆盖到哪一步
这一节最需要说清。
Kafka 事务(isolation.level=read_committed + transactional.id)保证的是:在 Kafka 内部,消费到生产这条链路上每条消息对下游可见恰好一次。覆盖范围就是"读 topic A、处理后写 topic B"这个模式。
它不覆盖三件事。
第一,外部副作用。消费逻辑里调支付接口或写 MySQL,事务管不到。Kafka 提交失败而数据库已提交,或者反过来,都会不一致。只能靠幂等加对账。
第二,位点之外的进度。逻辑里维护的 Redis 计数器,重放时会被加两次。
第三,跨集群。MirrorMaker 2 的复制不是事务性的。
配置上有个坑:transactional.id 必须每实例唯一且稳定。用 UUID.randomUUID() 是错的——重启后 ID 变了,未完成事务无法中止,会挂在 read_committed 消费者的 LSO 上,下游卡住。
// 正确:transactional.id 由应用名 + 分区标识构成,重启后保持不变
props.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG,
"order-enrich-" + instanceIndex); // 不是随机 UUID
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true);
props.put(ProducerConfig.ACKS_CONFIG, "all");
producer.initTransactions();
try {
producer.beginTransaction();
var records = consumer.poll(Duration.ofMillis(200));
var enriched = records.stream().map(this::enrich).toList();
producer.send(new ProducerRecord<>("order.enriched", enriched));
// 位点提交必须走事务,不能用 consumer.commitSync()
producer.sendOffsetsToTransaction(currentOffsets, consumer.groupMetadata());
producer.commitTransaction();
} catch (Exception e) {
producer.abortTransaction(); // 回滚,消息重新可见
}注意 sendOffsetsToTransaction 那一行。写成 consumer.commitSync() 就不再处于事务中,回滚时位点已前进,消息永久丢失。两种写法看起来都"提交了位点"。
语义边界
read_committed 消费者只能读到已提交事务的消息,未提交的会被跳过并等待。这意味着一个卡住的事务会阻塞该分区的所有后续消息——LSO 不前进,消费者停在那里。生产环境必须监控 transaction-coordinator 的挂起事务数。
RocketMQ 是另一条路:半消息 + 本地事务 + 回查,保证"本地事务与发送"的原子性。它同样不覆盖消费侧。
七、死信队列的设计口径
DLQ 不是垃圾桶,是需要被消费的队列。三个决定:什么消息进、由谁处理、积压多少算故障。
第一个决定:进 DLQ 的条件是"重试耗尽且不可自动恢复",不是"消费失败"。Kafka 要自己实现:失败消息投 xxx.retry,带计数头,按计数决定是否投 xxx.dlq。RocketMQ 内置 %DLQ%<group>,重试 16 次后自动进入。
第二个决定最容易漏。DLQ 的消息没人处理就是无限增长的日志,三个月后成了没人敢碰的存量。我们要求 DLQ 绑定值班告警和处理 SOP:报警到人,判断是代码 bug 还是数据问题,修复后重放。
第三个决定:积压阈值按"业务可容忍延迟"反推,不按条数拍。对账消息容忍延迟 2 小时,那么 DLQ 里出现 1 条就该告警。
不建议给 DLQ 设置自动重放。 见过把 DLQ 定时重投回主 topic 的实现,一条必然失败的消息在两边来回弹,每次重投都触发全量消费竞争。人工介入不是缺陷,是设计意图。
重试 topic 有两条纪律。其一:分区数必须和主 topic 一致,否则按 key 投递失效,分区内顺序就断了。
其二更要紧:重试消息必须带原始时间戳,消费端据此丢弃"过期重试"。我们复盘过一次——一份 6 小时前失败的消息在第 4 次重试时成功,把一笔已退款的订单又履约了一次。不加时效判断,等于埋了定时炸弹。
// 重试头:计数 + 首次失败时间戳,两个都要带
record RetryHeader(int attempt, long firstFailedAt) {
boolean expired(long now, Duration maxAge) {
return now - firstFailedAt > maxAge.toMillis(); // 超 30 分钟直接进 DLQ
}
}八、三个见过太多次的误判
下面三条是评审里我反复纠正的。
很多人以为 Kafka 消费抛异常会重试 N 次后进死信,实际上位点不提交就一直卡在那条消息上,不计次也不跳过。要重试必须自己写重试 topic 加计数。
很多人以为做完幂等就可以放心重放,实际上幂等只保护"同一操作重复执行"。乱序到达时同一 ID 的"创建"排在"更新"之后,状态机会把它当重复丢掉。两者不能互相替代。
很多人以为 lag 是判断消费健康的唯一指标,实际上形态比数值有用。均匀是能力不足,集中是热点 key,锯齿状是 rebalance。看形态能省一半排查时间。
九、三道需要动手算的题
三道都不查文档能答,但答对要想清边界。
第一题:一个 topic 有 12 个分区,消费者组 20 个实例。扩到 40 个实例,消费能力会提升吗?若不会,不改分区数的前提下还有什么办法?(提示:想想一个实例能消费几个分区。)
第二题:消费逻辑要调一次外部支付接口。已实现幂等,还需要 Kafka 事务吗?说明"需要"和"不需要"各自成立的条件。
第三题:DLQ 积压 3 万条,全部同一错误原因。设计重放方案,要求不影响正常消息、可中断、可续。写出关键步骤与状态记录方式。
十、中英术语对照
| 中文 | 英文 | 一句话解释 |
|---|---|---|
| 消费位点 | offset | 消费者在分区中已处理到的位置 |
| 消费延迟 | lag | 分区末端位点与消费者位点的差值 |
| 再平衡 | rebalance | 消费者组成员变化时重新分配分区的过程 |
| 恰好一次 | exactly-once | 特定链路内消息对下游可见一次,不含外部副作用 |
| 死信队列 | DLQ (Dead Letter Queue) | 重试耗尽后消息的最终去处,需人工处理 |
| 半消息 | half message | RocketMQ 中暂不可投递、等待本地事务结果的消息 |
| 幂等 | idempotency | 同一操作执行多次与执行一次的结果相同 |
| 分层存储 | tiered storage | 把冷数据从本地盘迁移到对象存储的机制 |
选型给个具体口径:日志与埋点选 Kafka,你迟早要重放历史,位点模型最省事;多租户上百选 Pulsar,Key_Shared 与分层存储省掉一套自研隔离;订单支付选 RocketMQ,半消息加回查是它唯一还在领先的地方。
只记一句话的话:消费者能扛重复、能识别过期、DLQ 有人管,这套组合比换成"支持 Exactly-once"的队列可靠得多。队列不替你做业务判断。
下一篇讲分布式事务时你会遇到同一件事的另一面:本地消息表看起来比 RocketMQ 的事务消息土,但它把"回查"这个必须精确回答的问题换成了数据库唯一键,而唯一键不会撒谎。