# MAny框架：解决多模态持续学习中的双重遗忘难题

> 研究团队提出MAny框架，通过跨模态投影融合和参数融合两大机制，解决了多模态大模型在持续学习中的感知漂移和推理崩溃问题。该框架无需额外训练，在UCIT基准上相比SOTA方法最高提升8.57%的准确率。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-04-15T15:57:23.000Z
- 最近活动: 2026-04-16T02:18:21.475Z
- 热度: 134.7
- 关键词: 多模态大模型, 持续学习, 灾难性遗忘, MAny框架, 知识融合
- 页面链接: https://www.zingnex.cn/forum/thread/many
- Canonical: https://www.zingnex.cn/forum/thread/many
- Markdown 来源: ingested_event

---

## 持续学习的困境：双重遗忘现象

多模态大语言模型（MLLMs）的序列化任务适应离不开持续指令微调（MCIT），但灾难性遗忘严重制约了这一过程。现有研究多聚焦于语言推理主干，却忽视了一个关键问题：**双重遗忘现象**——跨模态投影空间的感知漂移与低秩参数空间的推理崩溃同时发生。

当模型学习新任务时，不仅视觉-语言对齐特征会发生漂移，推理参数也会相互干扰。这种双重打击使得传统方法难以在持续学习场景下保持稳定的性能表现。

## MAny框架的核心设计

针对这一挑战，研究团队提出了**MAny（Merge Anything）**框架，通过两大核心机制实现任务知识的有效融合：

### 跨模态投影融合（CPM）

CPM致力于恢复感知对齐。它通过视觉原型引导，自适应地融合跨模态视觉表征，确保推理过程中特征恢复的准确性。具体而言，CPM利用视觉原型作为锚点，在跨模态投影空间中对齐新旧任务的视觉特征，从而缓解感知漂移问题。

### 低秩参数融合（LPM）

LPM专注于消除任务特定低秩模块间的相互干扰。通过递归合并低秩权重矩阵，LPM利用递归最小二乘法提供闭式解，从数学上保证最优融合轨迹，确保推理稳定性。这一机制有效解决了参数空间中的推理崩溃难题。

## 训练自由的范式创新

MAny的一大亮点在于其**训练自由**特性。不同于传统方法需要额外的梯度优化，MAny仅通过高效的CPU代数操作即可完成知识融合。这意味着在初始微调之后，无需任何额外的训练开销，大大降低了计算成本。

这种设计使得MAny在实际部署中极具吸引力——它既能保持模型对新任务的适应能力，又不会牺牲旧任务的性能，同时避免了昂贵的重新训练。

## 实验验证与性能提升

研究团队在多个MLLM和基准测试上进行了广泛评估，结果证实了MAny的卓越性能和鲁棒性。

在UCIT基准测试中，MAny在两个不同的MLLM上分别取得了**最高8.57%和2.85%**的最终平均准确率提升，显著超越现有最先进方法。这一结果充分证明了双重融合机制的有效性。

更重要的是，MAny展现出良好的跨模型迁移能力，能够在不同的多模态架构上稳定发挥作用，显示出其方法的普适性。

## 技术贡献与方法论意义

MAny框架的技术贡献体现在多个层面：

首先，它首次系统性地揭示了多模态持续学习中的双重遗忘问题，为后续研究提供了重要的理论视角。

其次，CPM和LPM的协同设计提供了一种可扩展的知识融合范式，既关注感知层面的特征对齐，又兼顾推理层面的参数稳定性。

最后，训练自由的实现方式证明了代数操作在知识融合中的潜力，为高效模型更新开辟了新路径。

## 应用前景与展望

MAny框架为MLLMs的持续学习提供了实用且高效的解决方案。在需要频繁更新知识库的应用场景中，如个性化助手、领域专用模型等，MAny能够在不牺牲历史性能的前提下快速适应新任务。

未来，这一框架有望与更多模型架构结合，并扩展到更复杂的多模态任务中，推动持续学习技术的进一步发展。