CAST：多模态数据集核心选择的拓扑融合新方法

针对大规模多模态模型训练中数据选择的难题，研究者提出CAST（Collapse-Aware multi-Scale Topology fusion）框架。该框架通过构建模态拓扑、多尺度分布匹配和软关系覆盖机制，在保持数据分布等价性的同时选择高信息量核心集，解决现有方法的单模态偏差和分布偏移问题。实验表明，CAST在Flickr30K和MS-COCO数据集上显著优于现有基线，兼具性能与效率优势。

多模态模型训练的数据困境

大规模多模态模型（如CLIP、LLaVA）依赖海量图像-文本配对数据，但训练计算开销极高（数千GPU小时），数据集选择成为降低成本的关键方向。

现有方法的双重局限

1. 单模态主导的采样偏差：以某一模态为主导，忽视跨模态信息不平衡，导致另一模态语义丢失。
2. 粗粒度评分导致分布偏移：难以保证核心集与原始数据集的分布等价性，影响模型泛化能力；且现有策略无法兼顾全局结构、局部细节和冗余感知覆盖。

CAST框架包含三大核心创新：

1. 局部崩溃感知的跨模态拓扑融合：分别构建图像和文本拓扑，识别并处理局部崩溃区域，再通过跨模态融合统一为综合拓扑，保留双模态关键信息。
2. 扩散小波域的多尺度分布匹配：利用扩散小波的多尺度分析、几何结构保持和平滑频域分解能力，确保核心集在多个尺度上与原始数据分布等价。
3. 局部软关系覆盖机制：扩展为关系感知的间接覆盖，引入软覆盖和冗余惩罚，避免密集区域冗余，保证核心集多样性。

在Flickr30K和MS-COCO数据集上的实验验证：

• 核心集质量：CAST选择的核心集训练模型性能显著优于现有基线。
• 跨架构泛化：核心集适用于不同模型架构，捕捉数据本质信息。
• 能源效率：保持性能的同时，比最先进合成方法更节能。

拓扑构建方法

用图神经网络构建模态拓扑：图像模态基于视觉特征构建k近邻图，文本模态基于语言特征构建类似图，边权重反映语义相似度。

跨模态融合策略

采用注意力机制，根据样本跨模态对齐质量自适应调整图像与文本拓扑的融合比例。

扩散小波实现

通过模拟热扩散过程在图上传播定义，适应图结构，避免传统小波对规则网格的依赖。

优化算法

将核心集选择形式化为组合优化问题，采用贪心算法与凸松弛结合的策略高效求解。

对多模态研究的启示

1. 模态平衡：需同时考虑所有模态，避免单模态主导。
2. 分布等价性：核心集需代表原始数据完整分布，否则影响泛化。
3. 多尺度视角：需捕捉不同尺度的语义信息（全局主题到局部细节）。
4. 拓扑结构：拓扑表示比特征向量更能捕捉数据内在几何和关系。

结语

CAST解决了现有方法的关键局限，为大规模多模态模型训练提供了性能与成本平衡的可行路径，奠定了高效数据选择的技术基础。

局限

1. 计算复杂度：拓扑构建和多尺度分析增加初始选择开销。
2. 超参数敏感性：扩散小波和覆盖机制的超参数需根据数据集调整。
3. 理论分析：技术组合有效性的理论研究不足。

未来方向

• 开发更高效的拓扑构建算法。
• 探索自动超参数选择方法。
• 扩展到音频、视频等更多模态。
• 应用于生成模型等其他类型模型。
• 开发支持流式数据的在线版本。