MAny框架：解决多模态持续学习中的双重遗忘难题

研究团队提出MAny（Merge Anything）框架，通过跨模态投影融合（CPM）和低秩参数融合（LPM）两大核心机制，针对性解决多模态大模型在持续学习中的感知漂移与推理崩溃双重遗忘问题。该框架无需额外训练，仅通过高效CPU代数操作完成知识融合，在UCIT基准上相比现有SOTA方法最高提升8.57%准确率，为多模态持续学习提供实用高效解决方案。

多模态大语言模型（MLLMs）的序列化任务适应依赖持续指令微调（MCIT），但灾难性遗忘是关键制约因素。现有研究多聚焦语言推理主干，却忽视双重遗忘现象：跨模态投影空间的感知漂移（视觉-语言对齐特征漂移）与低秩参数空间的推理崩溃（推理参数相互干扰）同时发生，传统方法难以应对这一双重打击，导致持续学习性能不稳定。

MAny框架通过两大机制实现任务知识有效融合：

1. 跨模态投影融合（CPM）：以视觉原型为锚点，自适应融合跨模态视觉表征，对齐新旧任务视觉特征，缓解感知漂移；
2. 低秩参数融合（LPM）：递归合并低秩权重矩阵，利用递归最小二乘法提供闭式解，消除任务特定低秩模块间干扰，保证推理稳定性，解决推理崩溃问题。

MAny框架的一大亮点是训练自由特性：不同于传统方法需额外梯度优化，MAny仅通过高效CPU代数操作即可完成知识融合。初始微调后无需额外训练开销，降低计算成本，同时保持模型对新任务的适应能力，不牺牲旧任务性能。

研究团队在多个MLLM和基准测试中评估MAny框架：在UCIT基准上，MAny在两个不同MLLM上分别取得最高8.57%和2.85%的最终平均准确率提升，显著超越现有SOTA方法；同时展现良好跨模型迁移能力，可在不同多模态架构上稳定发挥作用，证明方法普适性。

MAny框架的技术贡献包括：

1. 首次系统性揭示多模态持续学习中的双重遗忘问题，为后续研究提供理论视角；
2. CPM与LPM协同设计提供可扩展知识融合范式，兼顾感知特征对齐与推理参数稳定性；
3. 训练自由的实现方式证明代数操作在知识融合中的潜力，为高效模型更新开辟新路径。

MAny框架为MLLMs持续学习提供实用高效解决方案，适用于需频繁更新知识库的场景（如个性化助手、领域专用模型），可在不牺牲历史性能前提下快速适应新任务。未来有望与更多模型架构结合，扩展到更复杂多模态任务，推动持续学习技术发展。