多模态指令微调中的数据组织策略：一项关于能力权衡的控制性研究

本文探讨多模态大语言模型（MLLMs）训练中数据组织顺序对模型能力权衡的影响，通过对比四种训练策略（直接混合、课程学习、平衡采样、反向课程）发现：数据调度应被视为多模态模型适配的一阶设计变量，课程学习策略在结构化推理方面表现最佳，为多模态模型训练提供重要指导。

近年来，多模态大语言模型（Multimodal Large Language Models, MLLMs）在通用视觉理解、图表推理和文档感知等任务上取得显著进展。然而，这些能力来自异构监督数据源，其任务结构和学习需求差异大。长期被忽视的问题是：训练中数据的时间组织方式如何影响模型最终表现？

传统训练采用简单数据混合策略，但不同视觉任务（通用视觉理解、结构化图表推理、细粒度OCR识别）对模型认知要求本质不同。核心研究问题：数据组织是否影响多模态指令微调中的能力权衡？

为孤立研究数据组织变量，设计三阶段训练框架：模型主干、可训练模块和优化流程固定，仅改变后对齐监督数据的时间安排。

对比四种策略：

1. 直接混合：随机混合所有数据（主流做法）
2. 课程学习：从简单到复杂，先通用视觉理解，再结构化推理，最后OCR密集监督
3. 平衡采样：每种数据保持相等采样比例
4. 反向课程：先复杂任务，再简单任务

评估维度：通用视觉指令跟随、图表推理、数学图表理解、场景文字问答、文档问答。

实验结果关键发现：

1. 数据组织是一阶设计变量：仅改变数据顺序即显著影响模型能力表现，挑战“数据越多越好”思维。
2. 课程学习最优：整体能力权衡最佳，尤其结构化推理突出。
3. 平衡采样有偏向性：OCR任务表现好，但削弱整体能力平衡。
4. 反向课程失败：性能最差且优化不稳定，验证课程学习科学性。

训练动态分析显示：先建立通用理解和推理能力，再引入OCR密集监督，优化更平滑、收敛更快，呼应认知科学“脚手架理论”。

具体：通用视觉任务基础使模型学会提取语义信息，为后续任务提供良好初始化；反之，初始接触OCR数据易导致过度关注局部细节，忽视高层次语义理解。

研究启示：

1. 数据调度是核心决策：影响不亚于架构改进。
2. 课程学习应广泛应用：低成本高收益的改进方式。
3. 警惕简单混合策略：数据类型差异大时，精心设计课程提升显著。
4. 显式管理能力权衡：通过数据组织策略控制权衡，适配应用场景需求。

局限性：实验基于特定架构和数据集，结论普适性需验证；仅考虑四种简单策略，复杂动态调度或更优。

未来方向：自动发现最优课程顺序；结合数据组织与架构设计；保持通用能力同时最大化特定任务表现。