Ternary Inference Sim：三值神经网络推理的 Rust 模拟器

一个用 Rust 实现的三值神经网络推理模拟器，支持16位三值打包、Z₃算术运算和守恒验证，为未来的三值GPU硬件提供可执行的参考规范。

• 原作者/维护者：SuperInstance
• 来源平台：github
• 原始标题：ternary-inference-sim
• 原始链接：https://github.com/SuperInstance/ternary-inference-sim
• 来源发布时间/更新时间：2026-06-13T20:44:59Z

原作者与来源

• 原作者/维护者：SuperInstance
• 来源平台：github
• 原始标题：ternary-inference-sim
• 原始链接：https://github.com/SuperInstance/ternary-inference-sim
• 来源发布时间/更新时间：2026-06-13T20:44:59Z 原作者与来源\n\n- 原作者/维护者：SuperInstance\n- 来源平台：GitHub\n- 原项目名：ternary-inference-sim\n- 原始链接：https://github.com/SuperInstance/ternary-inference-sim\n- 发布时间：2026年6月\n\n---\n\n引言：当神经网络遇见三值逻辑\n\n在深度学习的世界里，权重通常是32位或64位浮点数。但如果我们能将权重压缩到仅仅三种状态——负、零、正——会发生什么？这不仅是理论上的好奇，更是实际的需求：边缘设备上的内存限制、移动端的功耗约束、实时推理的延迟要求，都在推动神经网络向更轻量级的表示进化。\n\nTernary Inference Sim 是一个用 Rust 编写的三值神经网络推理模拟器。它将权重限制在 {-1, 0, +1} 三种状态，并通过位级打包和Z₃算术运算实现高效的矩阵计算。更重要的是，它作为未来三值GPU硬件的可执行规范，确保软件与硬件之间的语义一致性。\n\n---\n\n核心概念：三值神经网络的数学基础\n\n三值权重：从浮点到 {-1, 0, +1}\n\n传统神经网络的权重是连续值，而三值神经网络（Ternary Neural Networks, TNN）将权重离散化为三种状态：\n\n- -1：抑制连接\n- 0：无连接（稀疏性）\n- +1：兴奋连接\n\n这种离散化带来了两个关键优势：\n1. 内存效率：每个权重只需2位（而非32位或64位）\n2. 计算效率：乘法简化为查表操作，无需浮点运算\n\nZ₃ 算术：模3运算系统\n\n三值神经网络使用Z₃算术（整数模3的环）：\n\n三值乘法（tmul）：\n\n(-1)(-1) = +1 (-1)(+1) = -1\n(+1)(-1) = -1 (+1)(+1) = +1\nanything × 0 = 0\n\n\n三值加法（tadd）：\n\n(-1)+(-1) = +1 (循环) (-1)+0 = -1 (-1)+(+1) = 0\n0+0 = 0 0+(+1) = +1\n(+1)+(+1) = -1 (循环)\n\n\n这种算术系统保证了运算的封闭性：输入 {-1, 0, +1}，输出仍在同一集合中。\n\n---\n\n技术实现：位级打包与高效计算\n\nTritPack：16个三值打包进一个u32\n\nrust\n// 2位表示一个三值（trit）\n// -1 → 0b11\n// 0 → 0b00\n// +1 → 0b01\n\nlet weights = vec![TritPack::new(&[1, -1, 0, 1, 1, -1, 0, 0, 1, -1, 1, 0, -1, 1, 0, 1])];\nlet input = TritPack::new(&[1, 1, 0, -1, 1, 0, 1, -1, 0, 1, 1, -1, 0, 1, -1, 1]);\n\n\n16个三值打包进一个32位整数，内存使用降低为原来的1/16。TritPack 提供 new()、get(i) 和 unpack() 方法，打包和解包的时间复杂度均为O(1)。\n\n矩阵-向量乘法：Z₃域上的点积\n\nrust\n// 权重 × 输入向量，在Z₃域中计算\nlet output = ternary_matvec(&weights, &input, 1);\n\n// 应用符号激活函数\nlet activated: Vec<i8> = output.iter().map(|&v| ternary_sign(v)).collect();\n\n\nternary_matvec 的实现细节：\n- 对每个权重行，计算与输入向量的点积\n- 使用Z₃乘法和加法规则\n- 时间复杂度：O(rows × 16) = O(16·R)\n\n批处理矩阵乘法\n\nrust\nternary_matmul(a, b, rows, cols)\n\n\n批量点积计算，时间复杂度为 O(R × C × 16)。这种批处理能力使模拟器能够高效处理多个输入样本。\n\n---\n\n守恒验证：γ + η = C 的正确性检查\n\n三值神经网络的一个独特特性是守恒定律：\n\n\nγ + η = C\n\n\n其中：\n- γ（gamma）：非零输出的数量\n- η（eta）：零输出的数量\n- C：常数（总输出数）\n\n模拟器在每一层后验证这个守恒定律。如果某个bug导致守恒被打破，模拟器会立即捕获。这种自我验证机制确保了三值计算的语义正确性，也是该模拟器作为硬件参考规范的关键价值。\n\n---\n\n应用场景：从模拟到硬件\n\n作为可执行规范\n\n在构建三值GPU内核之前，工程师需要精确理解位级算术。这个模拟器提供了这种理解，而无需实际的三值硬件。每个操作——打包、解包、Z₃乘法、Z₃加法、矩阵运算、激活——都用纯Rust实现，既是可执行规范，也是参考实现。\n\n边缘设备部署\n\n三值神经网络的内存和计算效率使其特别适合：\n- 移动设备：有限的内存和电池\n- 物联网传感器：微控制器级别的资源\n- 实时系统：低延迟推理需求\n\n与现有研究的关联\n\n该项目建立在多项开创性研究之上：\n\n- Ternary Weight Networks（Li et al., 2016）：三值权重网络的先驱工作\n- XNOR-Net（Rastegari et al., ECCV 2016）：二值/三值网络推理\n- Trained Ternary Quantization（Zhu et al., ICLR 2017）：训练时的三值量化\n\n---\n\n代码示例：完整工作流程\n\nrust\nuse ternary_inference_sim::{TritPack, ternary_matvec, ternary_sign};\n\nfn main() {\n // 打包权重和输入\n let weights = vec![TritPack::new(&[\n 1, -1, 0, 1, 1, -1, 0, 0,\n 1, -1, 1, 0, -1, 1, 0, 1\n ])];\n \n let input = TritPack::new(&[\n 1, 1, 0, -1, 1, 0, 1, -1,\n 0, 1, 1, -1, 0, 1, -1, 1\n ]);\n \n // 矩阵-向量乘积\n let output = ternary_matvec(&weights, &input, 1);\n \n // 应用激活函数\n let activated: Vec<i8> = output\n .iter()\n .map(|&v| ternary_sign(v))\n .collect();\n \n println!(\"输出: {:?}\", activated);\n}\n\n\n添加到项目：cargo add ternary-inference-sim\n\n---\n\nAPI 参考\n\n| 类型/函数 | 描述 |\n|-----------|------|\n| TritPack(u32) | 16个打包的三值：new()、get(i)、unpack() |\n| ternary_matvec(w, v, rows) | Z₃域中的权重×向量 |\n| ternary_matmul(a, b, r, c) | Z₃域中的批量矩阵乘法 |\n| ternary_sign(i8) | 激活函数：+1/0/-1 |\n\n---\n\n技术细节：为什么是Rust？\n\n选择Rust作为实现语言有几个原因：\n\n1. 零成本抽象：位操作和算术运算可以高效表达\n2. 内存安全：避免C语言中常见的内存错误\n3. 可移植性：作为参考规范，需要在多种平台上运行\n4. 生态系统：Cargo和crates.io便于分发\n\n---\n\n未来展望：从模拟到硅片\n\nTernary Inference Sim 的最终目标是成为三值GPU硬件的参考实现。Fleet GPU内核（CUDA/PTX）将实现这些精确的操作。当硬件实现与软件模拟行为一致时，我们就拥有了一个可信的三值计算平台。\n\n这种从 {-1, 0, +1} 构建的神经网络可能看起来受限，但正是这种限制带来了效率。在资源受限的世界里，效率就是一切。三值神经网络不是对精度的妥协，而是对问题本质的重新理解——很多时候，我们不需要64位浮点数的精度，只需要知道"是、否、或不确定"。\n\n---\n\n结语：三值之美\n\nTernary Inference Sim 展示了计算机科学中一个永恒的主题：通过限制表达力来换取效率。从二值逻辑到三值逻辑，我们增加了一个状态（"未知"或"无关"），却获得了指数级的效率提升。\n\n这个Rust模拟器不仅是一个技术工具，更是一个概念验证：未来的神经网络可能不再依赖浮点运算，而是回归更简单的算术系统。当硬件赶上这个愿景时，我们将拥有能够在手表上运行的大规模神经网络——而这一切都始于像 {-1, 0, +1} 这样简单的想法。\n\n---\n\n关键词\n\n三值神经网络、Rust、Z₃算术、位打包、边缘计算、神经网络量化、GPU模拟、守恒验证、矩阵运算、低功耗推理