PDMP：打破平衡迷思，性能主导模态优先化的新范式

PDMP（Performance-Dominant Modality Prioritization）策略挑战多模态学习中的"平衡学习"假设，提出让性能更强的模态主导优化过程，在多个数据集上验证了其优越性，为多模态系统优化开辟新路径。

多模态学习承诺融合多种信息源实现"1+1>2"，但实际中多模态系统常出现"多模态欠优化"（整体性能低于单模态组件）。传统观点认为根源是模态不平衡，采用梯度调制技术抑制强势模态、加速弱势模态以追求平衡学习。

PDMP研究指出：平衡学习可能是问题根源。核心洞察是不同模态对任务贡献能力不同，性能主导模态（单模态表现最好的模态）学习不足才是欠优化的真正原因，强行平衡会压制最有信息量的信号。

1. 识别性能主导模态：独立训练单模态模型，按性能排序确定主导者；2. 非对称梯度调制：让主导模态梯度占据更大权重，实现"让强者更强"；3. 通用性：不依赖多模态模型结构，可无缝应用于各类架构。

在多个标准数据集（涵盖分类、检索、生成等任务，图像-文本、视频-音频等模态组合）评估显示，PDMP优于现有平衡学习方法，且训练过程更稳定。

启示：挑战长期平衡假设，多模态融合本质或为"主从分工"，强行平等违背模态天然角色；应用：无需复杂架构修改，低门槛集成现有系统，可与CLIP、BLIP等先进架构结合，带来立竿见影的性能提升。

PDMP重新审视多模态学习基本假设，证明"不平衡"不一定是问题，关键是让正确模态主导学习。随着多模态AI落地，PDMP将助力构建更强大高效的多模态系统。