ProtoAda：面向多模态持续指令微调的原型引导自适应适配器框架

核心观点：ProtoAda通过引入格式感知的任务原型和几何感知的参数整合机制，解决多模态大模型在持续学习中任务分配与响应格式不匹配的问题，显著提升多任务场景下的模型表现。

该框架针对现有方法的'格式盲'缺陷，同时考虑任务语义与输出结构进行路由，并通过几何分析整合参数，有效缓解灾难性遗忘与任务间干扰。

持续学习的核心困境

多模态大语言模型（MLLMs）需持续学习新能力，但传统微调面临：

1. 灾难性遗忘：学新任务忘旧知识
2. 任务间干扰：不同任务梯度冲突导致性能下降

现有方法的缺陷

基于LoRA专家的混合模型依赖图像-文本相似度路由，但忽略响应格式差异——语义相似但输出格式不同的任务（如定位任务与VQA）被错误分配到同一专家，导致性能退化。

ProtoAda的两大核心创新：

1. 格式感知的任务原型：路由时同时考虑任务语义（图像-文本相似性）和输出结构（响应格式特征），避免格式冲突的任务共享专家。
2. 几何感知的参数整合：通过几何分析识别与现有参数兼容的更新，实现已有知识重用与渐进精炼，避免简单平均或覆盖带来的问题。

原型学习机制

为每个任务学习编码语义与格式特征的原型向量，推理时输入样本与原型相似度计算，动态路由到合适专家子集。

自适应适配器扩展

遇到新任务时评估现有专家是否适用，不适用则扩展新专家模块。

参数更新的几何分析

分析新任务梯度与已有参数的几何关系，仅整合兼容更新，隔离冲突更新到新参数空间。

主要实验发现

1. 整体性能提升：在多个MCIT基准测试上优于现有方法
2. 格式敏感任务改进：对输出格式易被破坏的任务提升显著
3. 专家协作效率：减少负迁移，协作更有效

消融实验

• 仅用语义相似度的基线性能显著下降，验证格式感知原型必要性
• 简单参数平均策略无法达到ProtoAda性能，验证几何整合有效性

理论贡献

揭示多模态持续学习中响应格式异构性的问题，为未来研究提供新视角（需同时考虑内容差异与输出结构多样性）。

实践价值

为多模态AI系统开发者提供实用框架，在低计算开销下提升多任务表现，适用于智能客服、教育辅助等场景。

当前局限

1. 原型学习需额外计算资源
2. 假设任务边界明确，真实场景任务可能模糊
3. 任务增加导致专家数量增长，带来存储与推理开销

未来方向

1. 动态原型压缩控制专家数量
2. 扩展到在线学习场景处理流式任务
3. 探索跨更多模态（音频、视频）的应用