Skip to content

进阶:端侧 AI 与 TinyML 实践 ​

本篇要点:判断一个模型该不该放到设备上,并把能放的那一类部署到 320 KB 内存的设备里,跑出可复现的推理结果。 前置文章:[《设备侧开发:协议栈、内存与固件模式》](/guide/iot/iot-mcu-firmware-patterns.html)讲过小内存固件的静态分配与环形缓冲,《边缘计算:网关、协议采集与本地规则》讲过边缘网关的分工;这一章把“推理”当成设备上的一个模块,看它对内存、电量与带宽分别提出什么要求。

为什么需要它 ​

320 KB 的 RAM 里塞一个卷积网络(convolutional neural network,CNN),第一次撞墙的地方不是模型体积,是那块必须连续的内存。两个项目之后才接受这件事:可用的总字节数从来不是瓶颈,最大的那块连续空间才是。

这一章的判断很明确:截至 2026 年 11 月,能在 320 KB RAM 级别稳定运行的,只有“小感知模型 + 定点量化 + 固定采样率”这一条窄路。需要动态 shape(动态张量形状)、需要 float32、需要在设备上做微调(fine-tuning)的方案,都不建议上。

窄路上有五堵墙,且不是并列的五个检查项,有先后顺序:内存决定模型上限,量化决定精度下限,框架决定你能不能编译出来。顺序错了,前面白做。

核心概念 ​

tensor arena:一段连续内存的三个用途 ​

TFLite Micro(TensorFlow Lite for Microcontrollers,TFLM)的内存模型很朴素:你给它一块 char 数组,它内部切成三段——head 段放共享的张量缓冲,由 GreedyMemoryPlanner 做复用规划;temporary 段放算子执行期间的临时量;tail 段放持久化缓冲。整块叫 tensor arena(张量竞技场)。

类比是一间车间:head 是工位,temporary 是周转区,tail 是料架,三者共用同一块地面,规划器负责让不同工序错峰占用工位。

反例是把它当成“模型体积加一点余量”来估。不同输入分布会触发不同的算子执行路径,占用的临时缓冲不同。

量化与校准集 ​

量化(quantization)把 float32 的权重与激活压成 int8,取值范围通常是 [-128, 127]。每一层的 scale 与 zero_point 由校准集(calibration set)决定,转换脚本里的参数叫 representative_dataset。

类比是把米尺换成厘米刻度的尺子:刻度定得准,读数才可信;刻度是按什么物体定的,就只对那类物体准。

反例是校准集直接用训练集的随机抽样。训练数据在台架上采集、采样率 25.6 kHz,现场加速度计配的是 6.4 kHz,频域特征整体错位,量化后的激活值大量落在同一档,模型输出退化成常数。

运行时:先看内存档位,再看精度 ​

运行时(runtime)指真正执行算子库的那一层。TFLM 从设计上假设没有文件系统、没有动态内存、没有 libc,适合 Cortex-M 与 bare-metal;ONNX Runtime 的自定义构建(minimal build)能用 --include_ops_by_config 按模型实际用到的算子裁剪 kernel,还能去掉异常处理,但它针对的是 Android、iOS、Linux ARM64、Windows ARM64 这一档。custom build 与 execution provider 两页文档里,没有 Cortex-M 或 bare-metal 的入口。

反例是拿精度当选型依据。精度不决定架构,它只决定同一档内存里你能不能用更小的位宽。

偏离判断与故障归类是两件事 ​

异常检测(anomaly detection)在预测性维护(predictive maintenance)里最常见的错误,是把“这段振动和基线不一样”和“这台设备的轴承坏了”当成同一个判断。

设备上只做前者:算几个统计量,与基线比,超阈值就上报。后者需要标注样本,只能放在云上慢慢做。类比是体温计和诊断书的区别,体温计只报偏离,不下结论。

回传带宽要反着算 ​

带宽预算(bandwidth budget)要反着算:先定一次判断愿意花多少字节,再看这个链路一个月给多少流量,最后决定设备上算到哪一步。

反例是先设计“把原始数据传上去训练”。NB-IoT 月流量包 30 MB、2,000 台设备时,平均每台每月只有 15 KB,每天 500 字节;一个 128 点的 int8 振动片段是 128 字节,加帧头与签名约 160 字节,一天只够传 3 段。这条路在设计阶段就不存在。

动手实践 ​

第一步:给 arena 一个能解释的数字 ​

cpp
static constexpr int kArenaSize = 96 * 1024;
static uint8_t tensor_arena[kArenaSize];

tflite::MicroInterpreter interpreter(
    model, resolver, tensor_arena, kArenaSize);
if (interpreter.AllocateTensors() != kTfLiteOk) {
  printf("AllocateTensors failed, arena=%d\n", kArenaSize);
  return -1;
}
printf("arena used = %d\n", interpreter.arena_used_bytes());

预期输出(一个 4 层 1D-CNN、输入 128 点 int8 的振动模型):

text
arena used = 74240

运行结果是 74240,看着还有余量,于是把 96 KB 缩到 80 KB,省下 16 KB 给 TLS。然后设备在雨天开始随机重启:雨天的输入分布不同,会走另一条分支,那条分支的临时缓冲刚好越界。

arena_used_bytes() 返回的是“这次分配用了多少”,不是“最坏用量”。现在的做法是一律留 1.5 倍余量,并且用不同分布的输入各跑一遍对齐,而不是只看一次数字。

还有一笔隐藏开销:如果启用 const-tensor 压缩(用查找表把权重压成定宽位串),官方文档写明两条代价——推理延迟上升、非持久 arena 占用变大,因为解压需要临时缓冲。省的是 flash,花的是 RAM 和时间。

第二步:固定采样率,重做校准集 ​

量化流程看起来只有三步:训练 float32、转 int8、部署。真正卡人的是校准集。

环节常见做法现在的做法代价
校准集来源训练集随机抽样现场数据 + 每个工位分层,每个安装位置各 200 条需先部署一版专门采数据
采样率通过物模型可配编译期固定,不开放给现场换传感器就要重新出固件
输入归一化float 除法移位 + 整数乘代码可读性变差
输出阈值训练集上选现场跑两周再定上线时间推迟

第三行值得单独说。int8 量化后输入必须是 int8 张量,很多教程写 value / 127.0 * scale,在 Cortex-M0 上这是软浮点,一次除法几十个周期。改成 (int16_t)value * k >> 8 之后,一次推理从 41 ms 降到 33 ms。数字不算惊人,但这是白给的。

第三步:按内存档位选运行时,并锁住版本 ​

图 11-1 按内存档位与量化策略选运行时

选型顺序如图 11-1。图里没有“精度”这一栏,是有意的,理由在核心概念里已经说过。

三个版本事实需要记住,它们会影响合规审计时的回答。第一,LiteRT 是 TensorFlow Lite 的后继项目,截至 2026 年 11 月的补丁版本以 LiteRT releases 为准。第二,tensorflow/tflite-micro 仓库没有正式版本发布,只有 main 分支在动,所以不能锁版本,只能锁 commit。第三,ESP32 上更实际的路径是 espressif/esp-tflite-micro,它打了 tag(见 esp-tflite-micro tags),可以正常锁版本。

带 PSRAM 的 ESP32-S3 属于中间地带,两边都能试,但工具链和例程更完整的是 TFLM。

第四步:设备上只算统计量,云上做归类 ​

设备的活是每 10 分钟算出三个统计量——均方根(root mean square,rms)、峭度(kurtosis)、频带能量比(band ratio),几十字节发上去。云侧只对偏离基线的片段做归类:

python
# 云侧:只对"偏离基线"的片段做归类,输入是设备回传的统计量
import numpy as np

def drift_score(baseline: dict, window: dict) -> float:
    """基于 3 个统计量的马氏距离简化版,baseline 由前 14 天数据算得"""
    keys = ("rms", "kurtosis", "band_ratio")
    mu = np.array([baseline[k] for k in keys])
    sd = np.array([baseline[f"{k}_sd"] for k in keys])
    x = np.array([window[k] for k in keys])
    return float(np.sqrt((((x - mu) / sd) ** 2).sum()))

b = {"rms": 0.42, "rms_sd": 0.03,
     "kurtosis": 3.1, "kurtosis_sd": 0.2,
     "band_ratio": 0.18, "band_ratio_sd": 0.02}

print(round(drift_score(b, {"rms": 0.50, "kurtosis": 4.4, "band_ratio": 0.31}), 2))
print(round(drift_score(b, {"rms": 0.43, "kurtosis": 3.2, "band_ratio": 0.19}), 2))

预期输出(Python 3.11 + numpy,无随机性):

text
9.57
0.78

运行结果的两个数字对应两种现场:9.57 那条的 rms 从 0.42 涨到 0.50、峭度从 3.1 跳到 4.4,拆开看是轴承外圈剥落;0.78 那条是正常波动,当时确实误报了,所以阈值定在 3 而不是 1。

只有需要判断“这段振动有没有周期性冲击”时才用 CNN,且只在 drift_score 超过阈值时触发,设备平时不跑推理。这个分层省下的不只是算力,主要是电:一段 128 点 int8 推理 33 ms 不算多,但每 10 秒跑一次,一天就是 285 秒满负荷,对纽扣电池供电的设备是生死线。

第五步:按三档预算分配回传 ​

档位触发条件单次字节数频率
统计量常态约 40每 10 分钟
特征向量drift_score > 3约 120每 10 分钟,限 20 次/天
原始片段告警或抽检约 160按需,限 5 次/天

一旦部署就只用特征迭代模型,意味着模型再也拿不到现场原始数据,除非专门留一条抽检通道:每天随机让 N 台设备多传一段原始片段。这条通道要写进设计,不能等需要时再加。

有一个判断要下得很明确:不建议在 MCU 上跑需要连续高采样率的模型,比如在 25.6 kHz 原始振动上做 CNN。不是因为算不动,是因为把 25.6 kHz 的流稳定喂给模型需要 DMA 加双缓冲加严格时序,任何一次 Wi-Fi 重连或 flash 写入都会打断它,而打断的表现是“准确率偶尔掉一截”,这种问题几乎不可能在实验室复现。降到 6.4 kHz 做包络分析(envelope analysis),效果差一点,确定性高得多。

第六步:给两个未定项留开口 ​

两件事截至 2026 年 11 月还没有结论,方案里要显式留出位置。

第一,模型版本与固件版本是否绑死。现在采用绑死:换模型就是一次 OTA,好处是现场只有一种组合、排障简单,坏处是模型迭代要走完整固件发布流程,一次约两周。把模型放独立分区、用数据通道下发,校验与回滚怎么跟 bootloader 那套机制对齐,还没验证过。

第二,int8 模型的退化怎么监控。浮点模型能看 loss 曲线,量化模型在现场只有输出。试过在设备上并行跑一个极小的浮点影子模型做对比,RAM 不够,只在小批设备上开过。下一步要试的是 const-tensor 压缩加 ESP32-S3:arena 可以放到 PSRAM,用更大的缓冲吸收延迟代价是否划算,还没有数据。

常见误解 ​

以为 arena_used_bytes() 报的是最坏用量。 它报的是本次分配用掉的量。换一种输入分布可能走不同分支,临时缓冲随之变大。按一次测量值去砍 arena,故障表现是“特定工况下随机重启”,而实验室数据永远正常。

以为量化掉点是转换算法的问题。 从 0.97 掉到 0.71 那次,模型、算子、工具链都没问题,问题是校准集与现场采样率不一致,频域特征错位。发现路径也很土:对比设备实际输入与校准集样本的频谱,一眼就能看出来。

以为异常检测该看准确率。 一台水泵一年坏 1.5 次,正样本十几条、负样本几十万条,全判正常也有 99.99% 的准确率。这类问题只能看召回与误报次数,且必须先接受“设备只判偏离、归类在云上”的分工。

小结 ​

  1. 320 KB 级别的瓶颈是最大的连续内存,不是总字节数;arena 要留 1.5 倍余量,并用不同分布的输入各验一次。
  2. 量化掉点多半出在校准集:它必须取自现场、按安装位置分层,采样率写死在编译期。
  3. 运行时按内存档位选:Cortex-M 用 TFLM,Linux ARM64 以上用 ONNX Runtime;tflite-micro 只能锁 commit,esp-tflite-micro 才有 tag。
  4. 设备端判偏离、云侧做归类,是这一章最主要的架构决定;它同时解决了标注不足和电量预算两个问题。
  5. 带宽要反着算:先定一次判断愿意花多少字节,再定设备上算到哪一步,最后留一条抽检通道给模型迭代。

相关主题 ​

这是本类目的收尾篇。接下来该做的不是再学一个框架,而是回到《项目落地:需求、分期、成本与验收》那张验收表,把端侧推理当成一个可选模块挂进去:先算清带宽与电量预算,再决定这一步要不要做,以及做到哪一层。