混合架构vs纯注意力：大模型推理能力的底层机制解析

本文对比混合架构（注意力+循环）与纯Transformer模型的推理表现，揭示推理能力基于召回与状态跟踪两大原语；发现显式推理训练可扩展模型有效工作范围，但其收益取决于架构对持久状态传播的支持；混合架构在长程状态跟踪任务中更稳健。

大模型推理能力从文本补全扩展到复杂推导，但背后机制缺乏系统性研究。主流观点将推理视为规模与数据涌现的单一能力，忽视基础认知原语。本研究从认知科学视角出发，解构推理为基础原语，探究不同架构对原语能力的支撑差异。

召回原语：从长程上下文检索相关信息（如前文关键信息、中间结论），类似人类工作记忆检索； 状态跟踪原语：维护推理过程中动态状态的更新与演化（如变量变化）； 两者交织支撑复杂推理（如多步骤数学题需召回初始条件+跟踪变量变化）。

架构对比：使用Olmo3系列两种变体（纯Transformer、混合架构），控制参数量、训练数据、步骤一致；每种架构分指令微调版和推理增强版（2×2设计）； 实验任务：设计状态召回任务（需跟踪状态+召回信息），按序列长度、变量数、转换复杂度梯度设计难度； 观察指标：准确率随难度变化曲线、错误模式分析、架构相对表现。

1. 推理增强训练提升最显著：扩展模型有效工作范围，解释DeepSeek-R1等推理模型的优势；
2. 混合架构长程依赖更稳健：长序列状态跟踪任务中，纯Transformer性能急剧下降，混合架构保持稳定；
3. 架构与训练交互：显式推理训练的效果依赖架构对持久状态传播的支持，两者相辅相成。

推理能力由三层机制支撑：

1. 算法层：显式推理训练（如思维链）提供高层策略；
2. 架构层：网络结构决定原语实现效率；
3. 表示层：内部表征影响信息存储、检索与更新； 三层相互依赖，架构局限会成为算法层瓶颈。

实践指导：

• 需状态跟踪的任务（多轮对话、规划）优先选混合架构；
• 推理训练非万能，需同步改进架构；
• 评估需覆盖难度梯度，避免简单指标掩盖局限； 局限与未来：实验限于有限模型规模和任务，未来需扩展验证、探究混合架构最优参数。