在消费级GPU上复现ZAYA1-8B推理能力：340M参数MoE模型的技术突破

开源项目nano-zaya340M成功将Zyphra ZAYA1-8B的核心创新技术压缩到340M参数MoE模型中，仅需8-10GB显存即可运行，通过CCA注意力机制、MLP路由器和Markovian RSA推理算法，让小模型实现深度思考能力，降低了强大推理模型的硬件门槛。

近年来大型语言模型（如DeepSeek-R1、Gemini-2.5 Pro）推理能力强但需数百GB显存，普通开发者难以触及。Zyphra ZAYA1-8B以7亿活跃参数（总80亿）超越DeepSeek-R1-0528，但硬件要求仍较高。nano-zaya340M项目旨在解决这一问题，在消费级GPU上复现其核心技术。

压缩卷积注意力（CCA）

传统自注意力计算复杂，CCA通过在压缩潜在空间执行序列混合，减少运算和内存需求，保留长距离依赖建模能力。

MLP路由器与MoE架构

采用MLP网络作为路由器替代传统线性层，学习更复杂的专家选择策略，配合MoE++架构，340M活跃参数实现超同等密集模型的推理能力。

Markovian RSA推理算法

RSA通过递归组合推理链提升性能，Markovian RSA保留有限长度推理链尾部，在有限上下文窗口内实现多轮深度推理，助力ZAYA1-8B在数学竞赛基准达顶尖水平。

1. 逻辑热身：在逻辑推理题和谜题上训练，建立基础推理能力。
2. RLVE-Gym课程：使用400道题目的课程训练，覆盖多种推理模式。
3. 数学与代码训练：利用计算轨迹和合成编程环境训练，包含测试时计算轨迹，让模型学会思考而非记忆。
4. 行为强化学习：专注对话风格和指令遵循，确保友好表达思考过程。

• 硬件要求低：单张RTX3070/4060或笔记本电脑即可运行。
• 场景适用：适合教育、研究场景，部署成本大幅降低。
• 开源贡献：完整开源训练代码、配置文件和技术报告翻译，为社区研究提供基础。

局限性：340M参数模型与ZAYA1-8B存在差距，属小规模复现验证核心技术可行性。

未来方向：

• 扩大模型规模，适配更大显存。
• 探索更多任务领域应用。
• 优化Markovian RSA推理效率。
• 与其他开源模型对比能力。

nano-zaya340M展示了通过算法创新而非参数堆叠提升模型能力的趋势，在算力紧张背景下具有现实意义。为开发者提供了理解MoE架构和测试时推理算法的实验平台，证明消费级硬件可参与前沿AI研究。

项目地址：https://github.com/korziner/nano-zaya340M-cca-markov-moe