Quatrix：用强化学习价值导航替代注意力机制的新型神经网络架构

Quatrix提出Q-Compass架构，通过强化学习Q函数的价值导航机制替代传统注意力机制，在保持性能的同时大幅降低KV缓存需求。该架构具有参数效率高、结构化稀疏等优势，并支持多模态（语言、图像、音频）及跨领域（如癌症研究）应用。

自Transformer问世以来，注意力机制成为深度学习核心，但模型规模扩大导致计算复杂度和内存需求激增。Quatrix旨在通过价值导航替代相似性注意力，解决传统注意力的资源消耗问题。

Q-Compass块仅需三个投影矩阵（W_s、W_a、W_o），通过计算状态（当前位置）与动作（其他位置）的Q值决定信息流动路径，无W_V设计避免信息损失。SAVO变体引入Q值乘积的投影，平衡价值与内容表达能力，在相同参数量下困惑度指标显著提升。

KV缓存压缩效果显著：rank r=H/8时为传统MHA的12.5%，r=H/16时仅6.25%且性能损失小。SAVO在多参数规模下优于标准MHA，跨模态应用（语言、图像、音频）及癌症突变特征模型表现良好，迁移能力强。

Quatrix提供Python实现，可通过pip安装。示例代码展示纯文本及多模态配置，支持快速上手（如TinyShakespeare数据集训练）。

Quatrix发表两篇学术论文，证明价值导航机制的有效性。未来将研究NanoG1癌症基础模型。该架构重新思考序列混合本质，为大模型效率、多模态统一提供新路径。