Skip to content

接入平台:Broker 集群与水平扩展 ​

本篇要点:能定位接入层的真实瓶颈,判断该加节点还是该拆负载,并给出一份不含假数字的容量规划。 前置文章:[《边缘计算:网关、协议采集与本地规则》 边缘计算](/guide/iot/edge-computing-gateway.html)负责把现场数据推出去;这一章接着回答,云端那台 broker 怎么把这些连接和数据接住。

为什么需要它 ​

一个八节点的 EMQX 5.8.x 集群,连到 12 万左右时新连接开始随机超时。八台机器 CPU 都在 40%,万兆网卡没打满,磁盘基本空着。改 max_conn_rate 没用,调 somaxconn、tcp_max_syn_backlog 也没用,加机器同样没用。

这个状态僵了两周,直到把链路按「谁在等谁」重画了一遍。Dashboard 上 connections.count 是稳的,但 messages.rate 掉了一截,Erlang 进程数和内存都正常。用 emqx ctl 翻出两个在涨的指标:awaiting_rel 和 mqueue_len。

原因不在连接,在会话队列:下游消费者处理慢,会话的消息队列积压,积压吃内存,内存压力让 GC 变频繁,每连接的调度成本上升,新连接的握手开始排队,设备判定超时后重连,再压回来。

图 6-1 会话队列积压形成的正反馈环

如图 6-1 所示,这个环一旦转起来,加机器是无效的:每台新节点都会被同一个下游拖住。本篇的结论可以压成一句:MQTT 集群的瓶颈几乎从不在 broker 本身,而在你让 broker 顺手干了什么活。

核心概念 ​

会话与消息队列 ​

会话(session)是 broker 为每个客户端保存的状态,包括订阅关系、未确认的 QoS 1/2 消息、离线期间积压的消息。积压就放在会话的消息队列(mqueue)里,长度上限由 max_mqueue_len 决定,EMQX 默认 1000;同时在途未确认的消息数由 max_inflight 限制,默认 32。队列满了之后按 mqueue_default_priority(默认 lowest)丢最低优先级的,也就是最旧的那些。

类比是一个水位固定的蓄水池:进水不变、出水变慢,池子满了就开始溢,溢掉的永远是先进来的那部分。反例是遇到 messages.dropped 增长就去调大 max_mqueue_len——这只是把内存爆点往后推,出水还是那么慢。

共享订阅与分发策略 ​

共享订阅(shared subscription)让一组消费者以 $share/<组名>/<主题> 的形式共同消费同一批消息,组内按分发策略选一个投递。它把「谁消费」从订阅关系里解耦出来,是消费侧水平扩展的单位。

分发策略(dispatch strategy)决定一条消息落到组内哪个成员:round_robin 轮询、hash_clientid 按发布方 clientid 取模、sticky 粘住一个成员直到它断开、local 优先本节点。反例是消费者本身有状态(同一台设备的连续遥测要串起来算增量)却用 round_robin,一条设备的时间序列会被打散到八个 worker 上。

规则引擎与数据桥接 ​

规则引擎(rule engine)用一段类 SQL 在 broker 内部做过滤与字段提取,数据桥接(data bridge / Sink)把结果送到外部系统。自 EMQX 5.4.0 起,桥接按数据方向拆成 Sink 与 Source 两类入口,6.x 文档里只有这两个名字,按 5.0 时代教程去找「数据桥接」会找不到菜单。

反例是把 broker 当 ETL 用:所有清洗、聚合、写库都挂在规则引擎上。规则引擎在消息路径上同步执行,它慢一点,整个会话队列就跟着积压。

握手成本 ​

启用 mTLS(双向 TLS 认证)时,每次建连都要做一次完整握手,这是纯 CPU 活,和消息吞吐抢同一批核。关键是成本在握手次数上,不在连接总数上:弱网设备平均 40 分钟重连一次,100 万连接折算下来稳态是每秒四百多次握手,看起来不多,但重连是成簇的——一次基站切换会让一个片区的设备同时重连,瞬时能到几万次。

集群与许可 ​

Mosquitto 单文件、配置简单、--test-config 能直接验配置,2.x 线补了 broker 侧 topic alias 与 global_max_connections(截至 2026 年 11 月以官方 ChangeLog 为准)。它的问题是没有原生集群,横向扩展靠 bridge 串,十万连接以下、单机房、能接受 bridge 拓扑时够用。

HiveMQ 的文档是最细的一档,Cluster、Failure Detection、Replication、Rolling Upgrade 各占一章,集群设计讲得比 EMQX 透;代价是商业授权,JVM 调优要自己来。社区版按年度节奏发布,没在社区版上跑过集群压测,这一项标未核实。

EMQX 被选中的理由不是哪一项最强,而是它把 broker、规则引擎、认证授权、可观测性放在一个产品里,团队四个人没有余力自己拼。有个成本项要提前算:集群功能试用期结束后需要商业 License,否则集群能力被禁用。

动手实践 ​

第一步:先分清是「连不上」还是「消化不掉」 ​

bash
# 在任一节点执行,EMQX 6.3.x
emqx ctl broker stats

# 预期输出(节选),正常态与故障态的差别在最后两行:
#   connections.count   : 151024
#   sessions.count      : 151024
#   subscriptions.count : 302048
#   messages.received   : 9842311
#   messages.sent       : 7201442   ← 收得进送不出,差的两百万就是积压
#   messages.dropped    : 18302     ← 持续增长,不是一次性尖刺

预期输出:故障态下 messages.sent 比 messages.received 少约两百万,差的这部分就是压在会话队列里没投递出去的量;messages.dropped 持续增长,因为队列满后按 mqueue_default_priority 丢最低优先级的消息——业务侧看到的是「最近的数据有,两小时前的数据没有」。这两个数对不上,说明问题在「消化不掉」,不在「连不上」。

确认到这一层之后,再看具体是谁的队列满了:

bash
emqx ctl clients list | head -20

# 预期输出,每一行长这样(关键字段已对齐):
#   Client(dev-00831, username=dev-00831, peername=10.2.7.31:51422,
#          clean_start=true, keepalive=60, session_expiry_interval=0,
#          subscriptions=2, inflight=32, awaiting_rel=0,
#          delivered_msgs=8841, enqueued_msgs=1000, dropped_msgs=317,
#          connected=true, ...)

预期输出:一屏里出现一批 enqueued_msgs 顶到 1000、inflight 顶到 32 的会话,就是队列打满,不用再查 CPU。几十万连接时这条命令会跑很久,6.3 线提供了 emqx ctl session-top 做近似统计。我们那次把消费者从 1 个进程扩到 8 个,队列当天就退了。

第二步:把写库从 broker 的路径上挪走 ​

Rule Engine 直接写 MySQL,到 30 万连接、每秒 4 万条上报时,MySQL 连接池先崩。出口方案的取舍如下:

出口方案实测落点适用场景代价
Rule Engine → MySQL Sink秒级吞吐顶在上万行设备十万以下、库能扛broker 写路径与业务库耦合
Rule Engine → Kafka Sink实测翻三倍以上上游量大、下游要重放要多维护一套 Kafka
Rule Engine → 时序库高频写入表现最好时序数据、写多读少查询能力受限
自建消费者 → 任意无上限有窗口计算、跨流 join重试、背压、死信全自己写

表 6-1 四种数据出口的落点与代价

改完之后的链路是 Rule Engine → Kafka → 自建消费者 → MySQL + 时序库,broker 只负责把消息甩出去。规则本身很短:

sql
-- EMQX 规则引擎 SQL(6.3.x 语法),挂在上行主题上
SELECT
  payload.t      AS temperature,
  payload.h      AS humidity,
  clientid       AS device_id,
  timestamp      AS ts,
  payload.seqno  AS seqno          -- 幂等键,落库时用它去重
FROM
  "factory/+/+/+/telemetry"
WHERE
  payload.t > -40 AND payload.t < 125   -- 拦掉明显异常的读数

预期输出:一条 factory/a/line1/th-200/telemetry 命中原样输出五个字段;缺 payload.t 的消息被 WHERE 拦掉,不进 Sink,Dashboard 上表现为 rule.matched 小于 rule.passed。seqno 是关键——没有它,Kafka 重放一次就往库里多写一遍;有了它,落库侧用 (device_id, seqno) 做唯一键,重放变成幂等。

版本上有一处必须记下来:MQTT connector 和 cluster link 早先把 retry_interval 的秒数又乘 1000 当毫秒用,某个补丁后改成按秒执行,同一个配置值实际重发间隔会缩短三个数量级。从 6.1 升到 6.3.x 之前,把所有 connector 的 retry_interval 重新核一遍。

第三步:连接压测和吞吐压测分开做 ​

bash
# 第一段:只建连,不发布。参数语义为准,短参数跨大版本改过
emqtt_bench conn -h lb.internal -p 1883 \
  --count 500000 --connrate 3000 --keepalive 300

# 预期输出(每 10 秒一行):
#   clients: 500000, rate: 2998/s, elapsed: 167s
# 关键不在跑得多快,而在到 500000 之后停住,
# 看八台节点的 cpu / mem 是否都在 55% 以下且十分钟内不爬升

# 第二段:在已有连接上叠加上行
emqtt_bench pub -h lb.internal -p 1883 \
  --count 5000 --message-count 10000 --size 128 --qos 1 \
  --topic 'bench/%c/%i'

预期输出:第一段每 10 秒打印一行 clients: 500000, rate: 2998/s, elapsed: 167s,到 50 万后停住,八台节点 CPU 与内存在 55% 以下且十分钟内不爬升;第二段叠加后 messages.rate 才出现真实的上行曲线。

分开跑的意义:第一段的上限是文件描述符、内存和 TLS 握手,第二段是路由与下游。混着跑得到的数字既不是前者也不是后者。

常见误解 ​

以为加节点就能扩容。 图 6-1 那个环说明,瓶颈在消费侧时,每台新节点会被同一个下游拖住,曲线一动不动。

以为用了共享订阅就自动水平扩展。 我们给共享订阅的消费者配了持久会话,客户端断线期间会话继续收消息,重连后一次性灌下来;同时 broker 会把超时会话里未投递的消息重新分派给组内其他成员,两边叠加,同一批消息进了两次,表现为偶发重复写入。共享订阅应当用 clean session,MQTT 5 下配很短的 SessionExpiryInterval,我们改成 60 秒后重复基本消失。分发策略也要按消费者是否有状态选:我们从 round_robin 换到 hash_clientid,吞吐掉了约 7%,但业务不再需要跨实例拼状态。sticky 看起来更稳,可 worker 滚动发布时整组状态要迁移一次,灰度那两分钟 P99 投递延迟从 180 ms 抬到 640 ms。

以为「连接数 ÷ 单机上限」就是机器数。 满负载时 openssl speed 算出的握手能力和实测差得远。mTLS 全开时单节点稳定承载的连接数掉一大截,掉多少取决于重连频率而非连接总数。我们做了三件事:把 TLS 终止从 broker 挪到四层负载均衡、broker 走内网明文(靠网络隔离加双向 ACL 顶住,这是有争议的取舍);打开会话恢复与 TLS session ticket,这一条省下的 CPU 比所有参数调整加起来都多;以及注意 6.3.x 起 TLS listener 在握手堆积时会直接拒绝新连接,那是过载保护,不是拒绝服务,压测时要算进预期。

以为压测通过就等于生产能跑。 我们压到 100 万连接、每秒 30 万消息,曲线很漂亮;真机上线后第一次区域性断网重连,瞬时连接请求把容量打回 60 万。压测匀速,生产脉冲,后来专门加了「全网重连」用例。另外,用 mosquitto_pub 循环发消息压不出真实负载,它是同步的,客户端先成为瓶颈;压测机自己的文件描述符也要先算够。

小结 ​

  • 先看 messages.received 与 messages.sent 的差,再看 enqueued_msgs、inflight 是否顶到默认上限,能在查 CPU 之前定性。
  • 会话队列满时丢的是最旧、最低优先级的消息,业务看到的是「最近有、两小时前没有」。
  • 共享订阅要短会话过期,分发策略按消费者是否有状态选;有状态就用 hash_clientid。
  • 写库不要挂在 broker 的消息路径上;规则引擎只做过滤和字段提取,带 seqno 让重放幂等。
  • 容量按握手次数算,不按连接数算;压测分两段,并单独加一次全网重连。

《边缘计算:网关、协议采集与本地规则》的网关解决的是现场采集与缓冲,这一章解决的是这些数据流的入口能不能撑住。撑住之后,下一个问题是数据落到哪里。

相关主题 ​

[《数据存储:时序数据库建模与查询》 数据存储](/guide/iot/iot-time-series-database.html)讲时序数据库。本篇把数据从 broker 甩给了 Kafka 与自建消费者,但一条温度读数最终要落进某张表,而这张表的设计决定了三年后能不能查得动:标签怎么放、乱序补传怎么扛、降采样与保留策略怎么配、压缩比和查询性能如何权衡。