Muon优化器：在鲁棒性与可迁移性上超越Adam的特征学习优势

本文核心观点：Muon优化器在大语言模型（LLM）预训练中，学习到的特征在鲁棒性和可迁移性上显著优于Adam和SGD。该研究来自arXiv论文（2026年6月8日发布，链接：http://arxiv.org/abs/2606.09658v1），通过实验验证和理论分析支持这一结论。

长期以来，Adam及其变体（如AdamW）是LLM预训练的主流优化器。Muon优化器由Keller Jordan提出，设计灵感源于谱归一化和正交参数化，通过对梯度矩阵进行奇异值分解（SVD）并重新正交化，保持参数更新的几何结构。以往研究聚焦Muon的训练效率（收敛速度、内存占用等），本研究则转向特征质量（鲁棒性、可迁移性）的分析。

研究从鲁棒性和可迁移性两个维度展开：

1. 鲁棒性测试：使用带噪声、遮挡等损坏的图像和文本数据评估模型性能；
2. 可迁移性测试：通过冻结预训练参数的线性分类器迁移，以及全模型微调迁移两种方式；
3. 辅助分析：用层级探测分类器测量各层logit边际，用有效秩衡量特征多样性；
4. 理论验证：设计简化分类问题的理论模型，证明Muon的优势。

鲁棒性优势：Muon特征在损坏数据下表现优于Adam/SGD，且跨越Transformer和CNN架构，具有普适性；通过层级探测分类器发现，Muon各层logit边际更大，样本分布更分离，对扰动更不敏感。 可迁移性优势：线性分类器迁移和全模型微调迁移中，Muon预训练模型均占优；Muon各层隐藏状态有效秩更高，特征多样性更强。

研究通过简化分类问题的理论模型，严格证明Muon能达到比Adam/SGD更大的logit边际和更高的有效秩。这一优势源于Muon的优化机制：谱归一化和正交参数化约束参数矩阵保持“良好条件”，自然导向更优的特征表示。

优化器不仅影响训练速度，更深刻决定模型学到的特征质量。传统模型评估需扩展到鲁棒性（对输入扰动的稳定性）和可迁移性（对下游任务的适应能力）维度。Muon的特征质量优势为LLM预训练提供了新的优化方向。

Muon的计算开销（主要来自SVD分解）可能是大规模模型的考虑因素。资源受限场景需权衡计算成本与特征质量优势；若追求最佳模型质量，Muon的优势值得额外计算投入。