BitStateLM：1GB内存运行的无矩阵乘法大模型引擎

BitStateLM是由puzzlesnotpeople开发的边缘设备专用大模型推理引擎，创新性融合RWKV线性注意力机制与BitNet 1.58-bit量化技术，实现仅需8.7MB存储、运行内存不足1GB的高效推理，支持无依赖C++引擎及WebAssembly浏览器部署，为资源受限环境提供AI推理方案。

传统Transformer模型因二次复杂度自注意力及庞大参数，难以在边缘设备（如嵌入式设备、浏览器）运行。边缘AI需要低存储、低内存、高效推理的方案，以满足离线隐私应用、物联网设备智能等场景需求，BitStateLM正是针对这一痛点设计。

1. RWKV线性注意力：替代传统Transformer二次复杂度自注意力，推理时内存增长O(1)，无需存储庞大KV Cache，保持长程依赖能力同时实现串行计算效率；2. BitNet 1.58-bit量化：权重限制为{-1,0,+1}三元值，2-bit打包存储，配合INT8激活值消除矩阵乘法，压缩3500万参数模型至8.7MB；3. 无依赖C++引擎：纯C++17实现，零外部库依赖，支持温度采样、最大生成长度控制，可移植性强。

性能方面：Python实现（PyTorch）i7 CPU达53token/秒，C++原生WSL单核43token/秒，i5-8250U低压处理器25token/秒，WASM Chrome浏览器版本10token/秒；规模方面：默认4层、256维嵌入、4注意力头，量化后权重0.6MB+词嵌入表8MB=8.7MB，运行内存约50MB。

训练：基于TinyStories数据集（1亿token），知识蒸馏自教师模型，训练40万步单GPU耗时6小时，支持梯度累积模拟大batch、余弦退火学习率；部署：下载预训练权重→编译C++引擎→执行推理，提供在线WASM演示，无需安装即可浏览器体验。

目标适配ESP32-S3微控制器（8MB PSRAM），预期240MHz Xtensa LX7处理器达2-8token/秒，支持简单语音助手、传感器数据分析；适用场景：离线隐私应用、低功耗物联网设备、无云连接嵌入式智能，推动AI民主化至终端。

局限：基于TinyStories训练，擅长简单故事续写，无法媲美GPT-4等前沿模型；1.58-bit量化引入精度损失，不适用于精确推理任务；优势：低延迟、高隐私、零网费，在特定场景（设备监控、简单问答、模板文本生成）足够实用，符合边缘AI“约束下最优解”哲学。

BitStateLM通过架构创新（RWKV）与模型压缩（BitNet），将大模型能力浓缩至极小开销，证明模型效率与能力同等重要，边缘智能不应被忽视。随着量化技术与高效架构演进，有望推动更多轻量AI项目，让AI真正无处不在。