AnisoAlign：通过各向异性几何校正解决多模态表示空间的模态鸿沟问题

本文介绍了AnisoAlign新型框架，针对多模态大语言模型训练中的模态鸿沟问题，通过几何分析发现其本质是集中在少数主导方向的各向异性残差结构（非简单全局偏移），提出各向异性对齐原则及有界校正方法，有效提升单模态训练的多模态模型性能，为缓解多模态数据稀缺提供解决方案。

多模态大语言模型发展面临高质量配对数据稀缺瓶颈，传统方法依赖大量标注图像-文本对，成本高且难规模化。近年利用CLIP共享表示空间实现单模态训练，但模态表示互换性缺乏深入理解。长期认为模态鸿沟是全局偏移，采用线性变换或全局平移对齐，此认知存在局限。

研究发现模态表示已共享兼容主导语义几何结构，阻碍互换的是各向异性残差结构（集中于少数主导方向）。此结构非均匀噪声，是有内在结构的几何现象。基于此提出各向异性模态对齐原则：保持源模态语义结构同时，使表示符合目标模态分布特性，平衡融入目标分布与保留语义信息。

AnisoAlign框架用于非配对模态对齐，核心是利用目标模态几何先验：

1. 分析目标模态表示空间协方差结构，识别主导方向与分布特性；
2. 对源模态表示进行有界几何校正（防止过度调整扭曲语义）；
3. 生成可作为目标模态替代的嵌入向量。 该框架避免复杂迭代优化，单次前向传播完成转换。

实验验证包括：

• 几何诊断：显著降低模态鸿沟，保留语义结构完整性，源模态表示在目标空间分布更自然；
• 文本-only MLLM训练：仅用文本数据，通过替代表示模拟多模态训练效果，在多模态基准测试取得竞争力；
• 计算效率：有界校正策略避免迭代，效率高适合大规模训练。

理论贡献：将模态鸿沟从经验现象转化为可纠正的结构化几何问题，深化多模态表示空间理解。 实践意义：

• 缓解多模态数据稀缺，利用丰富单模态资源训练高性能模型；
• 推动多模态AI民主化；
• 各向异性视角启发其他表示学习领域（如对齐类任务）。

未来研究方向：

1. 探索更精细几何分析方法理解模态复杂关系；
2. 将各向异性对齐原则扩展到音频、视频、3D模型等更多模态；
3. 研究保持对齐效果同时提升表示判别性与泛化能力。