# Oryx：在序列中动态切换注意力机制的混合模型新架构 > 研究人员提出Oryx架构，突破传统混合模型静态交替的设计范式，实现序列级别的动态mixer切换，90%以上参数共享，在1.4B规模下超越单一mixer基线，为长序列建模提供新思路。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-05-27T17:26:09.000Z - 最近活动: 2026-05-28T15:51:15.913Z - 热度: 119.6 - 关键词: 大语言模型, 注意力机制, 状态空间模型, Mamba, 混合架构, 序列建模, 高效推理, 长上下文 - 页面链接: https://www.zingnex.cn/forum/thread/oryx - Canonical: https://www.zingnex.cn/forum/thread/oryx - Markdown 来源: ingested_event --- ## 原作者与来源 - 原作者/维护者：Oryx研究团队 - 来源平台：arXiv - 原始标题：Multi-Mixer Models: Flexible Sequence Modeling with Shared Representations - 原始链接：http://arxiv.org/abs/2605.28769v1 - 来源发布时间/更新时间：2026-05-27 ## 注意力机制的困境 Softmax注意力机制是现代大语言模型的基石，但它存在一个根本性的效率瓶颈：内存随序列长度线性增长，计算复杂度则呈二次方增长。这意味着当处理长文本时，Transformer的内存占用和计算成本会迅速变得不可承受。 为了解决这个问题，研究人员提出了多种替代方案，其中线性循环模型（如线性注意力和状态空间模型SSM）因其线性计算复杂度和恒定内存占用而备受关注。Mamba系列模型就是这一方向的代表作。然而，这些亚二次复杂度的方法虽然在效率上有显著优势，但在需要长上下文检索或上下文学习（in-context learning）的任务上，仍然落后于传统的Transformer。 ## 混合架构的演进 面对这一困境，学术界开始探索混合架构——将注意力块和循环块以某种方式结合起来，试图兼顾两者的优势。现有的混合方案大多采用静态设计：在模型的不同层之间交替使用注意力和循环机制，或者将两种机制以固定比例合并。 这种静态设计的问题在于，它假设所有token和所有序列位置对两种机制的需求是相同的。但实际情况是，某些token可能需要丰富的上下文理解（适合注意力），而另一些token可能只需要高效生成（适合循环机制）。 ## Oryx：序列级别的动态切换 这篇论文提出的Oryx架构，探索了一条全新的混合路径：在序列维度（sequence-axis）上进行动态切换。具体来说，Oryx可以在处理序列的过程中灵活地在不同mixer之间切换——例如在需要丰富上下文理解时使用二次复杂度的注意力，在需要高效生成时切换到线性循环机制。 Oryx的核心创新在于参数共享：至少90%的参数在不同mixer之间是共享的。这意味着注意力和循环模式可以操作在相同的内部表征之上，而不是各自维护独立的表征空间。这种设计不仅大幅减少了参数总量，更重要的是使得模型能够真正根据当前token的需求选择最合适的处理机制。 ## 实验验证与性能表现 研究团队使用Mamba-2和Gated DeltaNet两种变体验证了Oryx的设计，模型规模达到1.4B参数。在固定token预算和混合训练策略下，Oryx取得了与单一mixer基线相当或更好的性能。 具体而言，在1.4B规模下，所有Oryx实例在平均语言建模任务上均超越了各自的单一mixer基线，提升幅度至少为0.7个百分点。这一结果证明了动态切换策略的有效性。 更令人印象深刻的是检索任务上的表现：Oryx即使在只有不到10%的token使用注意力模式的情况下，也能达到与Transformer基线相当的性能。这意味着模型可以用极低的注意力开销（仅处理关键token）获得接近全注意力模型的上下文理解能力。 ## 技术启示与未来方向 Oryx的研究结果揭示了一个重要发现：注意力机制和线性循环模型可以共享内部表征。这一发现打破了传统认知中两者需要独立表征空间的假设，为混合架构的设计提供了新的理论基础。 序列级别的混合（sequence-axis hybridization）被证明是一个极具前景的研究方向。与静态层间混合相比，动态token级混合能够更精细地分配计算资源，在保持性能的同时显著降低计算成本。 对于大模型从业者而言，Oryx提供了一条可行的路径：在不牺牲长上下文能力的前提下，大幅降低推理成本。特别是在长文档处理、代码生成等需要处理超长序列的场景中，这种技术路线具有重要的实用价值。 ## 局限与挑战 当然，Oryx也面临着一些挑战。动态切换机制引入了额外的路由决策开销，虽然论文声称这一开销可以忽略不计，但在实际部署中仍需仔细评估。此外，90%的参数共享虽然减少了参数量，但也可能限制了模型在某些特定任务上的表达能力。 另一个值得关注的点是训练策略。混合训练（mixed-training）对于Oryx的性能至关重要，如何设计最优的混合比例和调度策略，仍需要进一步的探索。 ## 结语 Oryx代表了大模型架构演进的一个重要方向：从静态的层间混合走向动态的序列级混合。它证明了注意力和循环机制可以共享表征空间，为构建更高效、更灵活的语言模型提供了新的可能性。对于关注模型效率优化和架构创新的研究者而言，这是一个值得关注的工作。