注意力中的相变：复制头涌现的贝叶斯理论

本文标题为《注意力中的相变：复制头涌现的贝叶斯理论》，由arXiv作者团队于2026年6月10日发布（原文链接：http://arxiv.org/abs/2606.12058v1）。核心观点是：通过贝叶斯特征学习理论分析单层softmax注意力网络在复制任务上的训练，发现softmax注意力呈现一级相变（模式突变），线性注意力呈现二级相变后平滑演化，为Transformer中复制电路的突然涌现提供了第一性原理解释。

Transformer架构的注意力机制是上下文学习的核心。训练中观察到注意力模式突然涌现而非逐渐演化，但缺乏理论解释。复制子电路是Transformer归纳头的关键组件，负责识别和复制输入序列模式，是上下文学习能力的基础，理解其形成机制对Transformer学习机制至关重要。

研究团队提出贝叶斯特征学习理论，将注意力权重学习视为贝叶斯推断问题。研究设置为单层softmax注意力网络在复制任务上的训练，通过推导注意力矩阵的闭式后验分布，将问题约化到低维序参量空间进行分析，简化模型同时保留核心特征。

随着训练数据量增加，系统经历相变：相变前注意力无序，相变点后复制电路形成。实验验证（贝叶斯采样和Adam训练）一致支持此结论。对比分析：softmax注意力呈现一级相变（模式突变，类似水结冰）；线性注意力初始为二级相变（连续变化，类似居里温度相变）后平滑演化。softmax的非线性导致不连续相变，解释了模式突然涌现。

对大模型的启示：涌现能力可能与注意力头相变有关，存在临界数据量阈值；理论框架可预测能力涌现时机。理论贡献：提供第一性原理框架，低维约化技术使复杂动态可分析，跨学科借鉴统计物理相变理论解释神经网络行为。

当前局限：单层网络与真实多层Transformer有差距，仅分析复制任务，部分推导依赖假设。未来方向：推广到多层架构，分析更多上下文学习任务，利用相变理论指导训练策略（如数据调度），探索其他组件的相变行为，研究相变点临界现象（如标度律）