DOSE：无需训练即可筛选高质量多模态数据的创新方法

DOSE提出一种利用现成预训练模型（无需针对目标数据微调）筛选多模态训练数据的新方法。通过构建联合质量-对齐分布并采用自适应加权采样，在保持长尾多样性的同时选择信息丰富样本，使模型在VQA和数学基准测试上达到或超越全量数据训练的效果。

在视觉-语言模型（VLMs）训练中，高质量多样化多模态数据至关重要，但现有数据集存在噪声、冗余、图文对齐不佳等问题，降低学习效率和性能。传统数据过滤方法需额外训练过滤模型，消耗大量资源，形成'用训练筛选数据'的悖论。

DOSE（Data Selection via Off-the-shelf Models）的核心设想是利用未见过目标数据的现成预训练模型，为更大多模态模型筛选样本。其洞察在于：现成预训练模型即使未微调，也能有效评估文本质量和图文对齐程度，打破'数据筛选需专门训练模型'的传统认知。

1. 联合质量-对齐分布构建：同时考虑文本质量与图文对齐程度，全面评估样本价值；
2. 自适应加权采样策略：平衡信息丰富样本选择与长尾多样性，确保稀有有价值样本被纳入；
3. 无需训练优势：大幅降低计算成本，即插即用，可扩展至任意预训练模型和任务。

在VQA和数学推理基准测试中验证DOSE有效性：

• 使用筛选数据训练的模型性能达到或超越全量数据训练模型；
• 数据多样性显著提升，增强模型泛化能力；
• 效率与可扩展性良好，适用于大规模数据处理。

DOSE为数据筛选领域带来新思路：证明预训练模型知识可更充分利用，'少即是多'（精选数据效果优于海量原始数据）。实际应用意义：降低数据准备成本，提升模型训练效率，促进数据多样性以增强鲁棒性。

DOSE是数据筛选技术的重要进步，利用现成预训练模型能力，无需额外训练即可筛选高质量多模态数据，提升多样性且效果优异。未来可扩展至更多模态组合和复杂任务场景，助力多模态大语言模型发展。