接入平台:Broker 集群与水平扩展
本篇要点:能定位接入层的真实瓶颈,判断该加节点还是该拆负载,并给出一份不含假数字的容量规划。 前置文章:[《边缘计算:网关、协议采集与本地规则》 边缘计算](/guide/iot/edge-computing-gateway.html)负责把现场数据推出去;这一章接着回答,云端那台 broker 怎么把这些连接和数据接住。
为什么需要它
一个八节点的 EMQX 5.8.x 集群,连到 12 万左右时新连接开始随机超时。八台机器 CPU 都在 40%,万兆网卡没打满,磁盘基本空着。改 max_conn_rate 没用,调 somaxconn、tcp_max_syn_backlog 也没用,加机器同样没用。
这个状态僵了两周,直到把链路按「谁在等谁」重画了一遍。Dashboard 上 connections.count 是稳的,但 messages.rate 掉了一截,Erlang 进程数和内存都正常。用 emqx ctl 翻出两个在涨的指标:awaiting_rel 和 mqueue_len。
原因不在连接,在会话队列:下游消费者处理慢,会话的消息队列积压,积压吃内存,内存压力让 GC 变频繁,每连接的调度成本上升,新连接的握手开始排队,设备判定超时后重连,再压回来。
图 6-1 会话队列积压形成的正反馈环
如图 6-1 所示,这个环一旦转起来,加机器是无效的:每台新节点都会被同一个下游拖住。本篇的结论可以压成一句:MQTT 集群的瓶颈几乎从不在 broker 本身,而在你让 broker 顺手干了什么活。
核心概念
会话与消息队列
会话(session)是 broker 为每个客户端保存的状态,包括订阅关系、未确认的 QoS 1/2 消息、离线期间积压的消息。积压就放在会话的消息队列(mqueue)里,长度上限由 max_mqueue_len 决定,EMQX 默认 1000;同时在途未确认的消息数由 max_inflight 限制,默认 32。队列满了之后按 mqueue_default_priority(默认 lowest)丢最低优先级的,也就是最旧的那些。
类比是一个水位固定的蓄水池:进水不变、出水变慢,池子满了就开始溢,溢掉的永远是先进来的那部分。反例是遇到 messages.dropped 增长就去调大 max_mqueue_len——这只是把内存爆点往后推,出水还是那么慢。
共享订阅与分发策略
共享订阅(shared subscription)让一组消费者以 $share/<组名>/<主题> 的形式共同消费同一批消息,组内按分发策略选一个投递。它把「谁消费」从订阅关系里解耦出来,是消费侧水平扩展的单位。
分发策略(dispatch strategy)决定一条消息落到组内哪个成员:round_robin 轮询、hash_clientid 按发布方 clientid 取模、sticky 粘住一个成员直到它断开、local 优先本节点。反例是消费者本身有状态(同一台设备的连续遥测要串起来算增量)却用 round_robin,一条设备的时间序列会被打散到八个 worker 上。
规则引擎与数据桥接
规则引擎(rule engine)用一段类 SQL 在 broker 内部做过滤与字段提取,数据桥接(data bridge / Sink)把结果送到外部系统。自 EMQX 5.4.0 起,桥接按数据方向拆成 Sink 与 Source 两类入口,6.x 文档里只有这两个名字,按 5.0 时代教程去找「数据桥接」会找不到菜单。
反例是把 broker 当 ETL 用:所有清洗、聚合、写库都挂在规则引擎上。规则引擎在消息路径上同步执行,它慢一点,整个会话队列就跟着积压。
握手成本
启用 mTLS(双向 TLS 认证)时,每次建连都要做一次完整握手,这是纯 CPU 活,和消息吞吐抢同一批核。关键是成本在握手次数上,不在连接总数上:弱网设备平均 40 分钟重连一次,100 万连接折算下来稳态是每秒四百多次握手,看起来不多,但重连是成簇的——一次基站切换会让一个片区的设备同时重连,瞬时能到几万次。
集群与许可
Mosquitto 单文件、配置简单、--test-config 能直接验配置,2.x 线补了 broker 侧 topic alias 与 global_max_connections(截至 2026 年 11 月以官方 ChangeLog 为准)。它的问题是没有原生集群,横向扩展靠 bridge 串,十万连接以下、单机房、能接受 bridge 拓扑时够用。
HiveMQ 的文档是最细的一档,Cluster、Failure Detection、Replication、Rolling Upgrade 各占一章,集群设计讲得比 EMQX 透;代价是商业授权,JVM 调优要自己来。社区版按年度节奏发布,没在社区版上跑过集群压测,这一项标未核实。
EMQX 被选中的理由不是哪一项最强,而是它把 broker、规则引擎、认证授权、可观测性放在一个产品里,团队四个人没有余力自己拼。有个成本项要提前算:集群功能试用期结束后需要商业 License,否则集群能力被禁用。
动手实践
第一步:先分清是「连不上」还是「消化不掉」
# 在任一节点执行,EMQX 6.3.x
emqx ctl broker stats
# 预期输出(节选),正常态与故障态的差别在最后两行:
# connections.count : 151024
# sessions.count : 151024
# subscriptions.count : 302048
# messages.received : 9842311
# messages.sent : 7201442 ← 收得进送不出,差的两百万就是积压
# messages.dropped : 18302 ← 持续增长,不是一次性尖刺预期输出:故障态下 messages.sent 比 messages.received 少约两百万,差的这部分就是压在会话队列里没投递出去的量;messages.dropped 持续增长,因为队列满后按 mqueue_default_priority 丢最低优先级的消息——业务侧看到的是「最近的数据有,两小时前的数据没有」。这两个数对不上,说明问题在「消化不掉」,不在「连不上」。
确认到这一层之后,再看具体是谁的队列满了:
emqx ctl clients list | head -20
# 预期输出,每一行长这样(关键字段已对齐):
# Client(dev-00831, username=dev-00831, peername=10.2.7.31:51422,
# clean_start=true, keepalive=60, session_expiry_interval=0,
# subscriptions=2, inflight=32, awaiting_rel=0,
# delivered_msgs=8841, enqueued_msgs=1000, dropped_msgs=317,
# connected=true, ...)预期输出:一屏里出现一批 enqueued_msgs 顶到 1000、inflight 顶到 32 的会话,就是队列打满,不用再查 CPU。几十万连接时这条命令会跑很久,6.3 线提供了 emqx ctl session-top 做近似统计。我们那次把消费者从 1 个进程扩到 8 个,队列当天就退了。
第二步:把写库从 broker 的路径上挪走
Rule Engine 直接写 MySQL,到 30 万连接、每秒 4 万条上报时,MySQL 连接池先崩。出口方案的取舍如下:
| 出口方案 | 实测落点 | 适用场景 | 代价 |
|---|---|---|---|
| Rule Engine → MySQL Sink | 秒级吞吐顶在上万行 | 设备十万以下、库能扛 | broker 写路径与业务库耦合 |
| Rule Engine → Kafka Sink | 实测翻三倍以上 | 上游量大、下游要重放 | 要多维护一套 Kafka |
| Rule Engine → 时序库 | 高频写入表现最好 | 时序数据、写多读少 | 查询能力受限 |
| 自建消费者 → 任意 | 无上限 | 有窗口计算、跨流 join | 重试、背压、死信全自己写 |
表 6-1 四种数据出口的落点与代价
改完之后的链路是 Rule Engine → Kafka → 自建消费者 → MySQL + 时序库,broker 只负责把消息甩出去。规则本身很短:
-- EMQX 规则引擎 SQL(6.3.x 语法),挂在上行主题上
SELECT
payload.t AS temperature,
payload.h AS humidity,
clientid AS device_id,
timestamp AS ts,
payload.seqno AS seqno -- 幂等键,落库时用它去重
FROM
"factory/+/+/+/telemetry"
WHERE
payload.t > -40 AND payload.t < 125 -- 拦掉明显异常的读数预期输出:一条 factory/a/line1/th-200/telemetry 命中原样输出五个字段;缺 payload.t 的消息被 WHERE 拦掉,不进 Sink,Dashboard 上表现为 rule.matched 小于 rule.passed。seqno 是关键——没有它,Kafka 重放一次就往库里多写一遍;有了它,落库侧用 (device_id, seqno) 做唯一键,重放变成幂等。
版本上有一处必须记下来:MQTT connector 和 cluster link 早先把 retry_interval 的秒数又乘 1000 当毫秒用,某个补丁后改成按秒执行,同一个配置值实际重发间隔会缩短三个数量级。从 6.1 升到 6.3.x 之前,把所有 connector 的 retry_interval 重新核一遍。
第三步:连接压测和吞吐压测分开做
# 第一段:只建连,不发布。参数语义为准,短参数跨大版本改过
emqtt_bench conn -h lb.internal -p 1883 \
--count 500000 --connrate 3000 --keepalive 300
# 预期输出(每 10 秒一行):
# clients: 500000, rate: 2998/s, elapsed: 167s
# 关键不在跑得多快,而在到 500000 之后停住,
# 看八台节点的 cpu / mem 是否都在 55% 以下且十分钟内不爬升
# 第二段:在已有连接上叠加上行
emqtt_bench pub -h lb.internal -p 1883 \
--count 5000 --message-count 10000 --size 128 --qos 1 \
--topic 'bench/%c/%i'预期输出:第一段每 10 秒打印一行 clients: 500000, rate: 2998/s, elapsed: 167s,到 50 万后停住,八台节点 CPU 与内存在 55% 以下且十分钟内不爬升;第二段叠加后 messages.rate 才出现真实的上行曲线。
分开跑的意义:第一段的上限是文件描述符、内存和 TLS 握手,第二段是路由与下游。混着跑得到的数字既不是前者也不是后者。
常见误解
以为加节点就能扩容。 图 6-1 那个环说明,瓶颈在消费侧时,每台新节点会被同一个下游拖住,曲线一动不动。
以为用了共享订阅就自动水平扩展。 我们给共享订阅的消费者配了持久会话,客户端断线期间会话继续收消息,重连后一次性灌下来;同时 broker 会把超时会话里未投递的消息重新分派给组内其他成员,两边叠加,同一批消息进了两次,表现为偶发重复写入。共享订阅应当用 clean session,MQTT 5 下配很短的 SessionExpiryInterval,我们改成 60 秒后重复基本消失。分发策略也要按消费者是否有状态选:我们从 round_robin 换到 hash_clientid,吞吐掉了约 7%,但业务不再需要跨实例拼状态。sticky 看起来更稳,可 worker 滚动发布时整组状态要迁移一次,灰度那两分钟 P99 投递延迟从 180 ms 抬到 640 ms。
以为「连接数 ÷ 单机上限」就是机器数。 满负载时 openssl speed 算出的握手能力和实测差得远。mTLS 全开时单节点稳定承载的连接数掉一大截,掉多少取决于重连频率而非连接总数。我们做了三件事:把 TLS 终止从 broker 挪到四层负载均衡、broker 走内网明文(靠网络隔离加双向 ACL 顶住,这是有争议的取舍);打开会话恢复与 TLS session ticket,这一条省下的 CPU 比所有参数调整加起来都多;以及注意 6.3.x 起 TLS listener 在握手堆积时会直接拒绝新连接,那是过载保护,不是拒绝服务,压测时要算进预期。
以为压测通过就等于生产能跑。 我们压到 100 万连接、每秒 30 万消息,曲线很漂亮;真机上线后第一次区域性断网重连,瞬时连接请求把容量打回 60 万。压测匀速,生产脉冲,后来专门加了「全网重连」用例。另外,用 mosquitto_pub 循环发消息压不出真实负载,它是同步的,客户端先成为瓶颈;压测机自己的文件描述符也要先算够。
小结
- 先看
messages.received与messages.sent的差,再看enqueued_msgs、inflight是否顶到默认上限,能在查 CPU 之前定性。 - 会话队列满时丢的是最旧、最低优先级的消息,业务看到的是「最近有、两小时前没有」。
- 共享订阅要短会话过期,分发策略按消费者是否有状态选;有状态就用
hash_clientid。 - 写库不要挂在 broker 的消息路径上;规则引擎只做过滤和字段提取,带
seqno让重放幂等。 - 容量按握手次数算,不按连接数算;压测分两段,并单独加一次全网重连。
《边缘计算:网关、协议采集与本地规则》的网关解决的是现场采集与缓冲,这一章解决的是这些数据流的入口能不能撑住。撑住之后,下一个问题是数据落到哪里。
相关主题
[《数据存储:时序数据库建模与查询》 数据存储](/guide/iot/iot-time-series-database.html)讲时序数据库。本篇把数据从 broker 甩给了 Kafka 与自建消费者,但一条温度读数最终要落进某张表,而这张表的设计决定了三年后能不能查得动:标签怎么放、乱序补传怎么扛、降采样与保留策略怎么配、压缩比和查询性能如何权衡。