Bonsai-Pot：从零构建的轻量级 Qwen3 推理引擎，用 wgpu 计算着色器实现无反量化 Q1_0 推理

bonsai-pot是完全从零编写的Qwen3架构推理引擎，核心特点包括：采用wgpu（WebGPU的Rust实现）计算着色器在GPU上直接运行Q1_0量化模型，无需反量化步骤，实现极致轻量化和高效推理。项目旨在解决端侧LLM部署中的资源受限问题，提供零依赖、跨平台的推理能力。

随着大语言模型（LLM）在端侧设备部署需求增长，传统方案依赖庞大库和复杂量化-反量化流程，增加二进制体积和计算开销。bonsai-pot选择从零构建推理引擎，不依赖现有框架，直接利用现代GPU通用计算能力，以应对资源受限环境下的高效推理挑战。

1. 纯wgpu计算着色器实现

采用wgpu作为底层计算后端，跨平台（Windows/macOS/Linux/浏览器），通过WGSL计算着色器将核心算子卸载到GPU，实现零依赖、跨平台兼容。

2. 无反量化Q1_0推理

创新性地在量化域直接执行矩阵乘法等操作，无需反量化为浮点数，降低内存带宽需求、显存占用和提高能效比。

3. Qwen3架构支持

针对Qwen3的分组查询注意力（GQA）、SwiGLU激活函数、RoPE位置编码等组件做专门优化，确保与官方模型兼容。

内存布局优化

• 权重矩阵列优先存储匹配GPU合并访问
• 激活值分块缓存于共享内存
• KV Cache分页管理支持长上下文扩展

计算管线设计

推理过程分为嵌入查找、Transformer层循环、输出采样三个阶段，调优以最小化CPU-GPU数据传输开销。

bonsai-pot目标指向边缘计算和嵌入式场景：

• IoT设备：树莓派级别硬件本地运行LLM
• 浏览器端AI：WebGPU实现隐私保护的本地推理
• 移动应用：提供离线AI能力

其“从零开始”的工程哲学展示了现代GPU计算潜力，为LLM推理框架轻量化设计提供新思路。

目前已具备基本推理能力，支持Qwen3模型Q1_0量化格式。开发者正在完善：

• 更多量化格式（Q4_0、Q8_0等）
• 批处理推理优化
• 多模态能力扩展

简洁代码库是理解LLM推理底层原理的极佳学习资源，剥离复杂框架抽象，直接展示GPU计算着色器实现现代Transformer架构。

bonsai-pot代表端侧AI推理新范式：不追求通用性，针对特定场景极致优化。在AI芯片和边缘计算快速发展的今天，这类轻量级、零依赖的专用引擎将在特定领域发挥重要作用。