EdgeInfer：面向ARM嵌入式设备的轻量级确定性神经网络推理框架

EdgeInfer是一个用纯C语言编写的裸机固件框架，专为ARM-A架构嵌入式设备设计，支持运行ONNX格式神经网络。其核心特点包括静态内存管理（零动态分配）、模块化流水线设计、用户可扩展钩子机制，以及QEMU仿真支持，可解决边缘AI部署中的资源受限、实时性要求高、无操作系统环境等痛点，无需物理硬件即可完成模型部署前的开发调试。

边缘AI部署需应对计算资源受限、内存容量有限、实时性要求高、功耗敏感及裸机环境（无操作系统）等约束。传统框架如TensorFlow Lite或PyTorch Mobile依赖动态内存分配和复杂运行时，在严格嵌入式场景下过于笨重；且硬件就绪前缺乏轻量级仿真验证方案。EdgeInfer正是针对这些痛点设计。

EdgeInfer遵循三大设计原则：1.零动态内存分配：所有内存编译时预分配，消除堆碎片化、泄漏等问题，内存使用可预测；2.确定性执行：流水线模型和静态内存确保推理延迟可预测，便于最坏情况执行时间（WCET）分析；3.模块化流水线架构：将推理分为预处理→推理→后处理三阶段，接口清晰，便于扩展。

EdgeInfer采用离线转换+在线执行架构：1.ONNX转C：开发主机用Python工具将ONNX模型转为C头文件（含权重和拓扑），模型存于Flash，无需设备端解析ONNX；2.用户扩展钩子：通过函数指针定制预处理（数据归一化等）、后处理（结果解析等）、推理覆盖（替换引擎）；3.ARM裸机支持：含启动代码、链接脚本、UART驱动，支持QEMU仿真，加速早期开发。

EdgeInfer开发流程：1.模型训练与导出：用PyTorch/TensorFlow训练，导出ONNX格式；2.模型转换：脚本将ONNX转为C头文件；3.用户扩展实现：编写预处理/后处理钩子函数；4.编译与仿真：交叉编译固件，QEMU中运行验证；5.硬件部署：烧录到目标ARM设备，迁移只需调整底层驱动。

EdgeInfer适用于：1.早期算法验证：QEMU仿真可在硬件定型前验证模型正确性和性能；2.资源极度受限设备：零动态分配和精简代码适合KB级内存、无OS设备；3.功能安全关键应用：静态内存设计符合航空、汽车、工业控制等场景要求；4.教学学习：精简代码便于理解神经网络推理底层实现。

当前EdgeInfer存在局限：1.算子支持有限：主要支持ONNX基础算子，复杂结构（如Transformer、注意力机制）需额外实现；2.架构支持单一：仅支持ARM-A，ARM-M系列需进一步优化裁剪。未来需扩展算子库和架构支持。

EdgeInfer为边缘AI部署提供轻量级、确定性解决方案，其静态内存、模块化流水线、QEMU仿真等特性适合资源受限场景和早期验证。与现有方案对比：比TensorFlow Lite Micro更轻量（无复杂运行时），比CMSIS-NN使用门槛低（直接ONNX转换），定位介于两者之间，平衡灵活性与简洁性。