Prism通过轻量级插件注册机制将算法开发与主干模型实现分离，使新策略可作为独立插件集成，无需修改底层MLLM代码库，解决了MCIT研究中的工程瓶颈和结构碎片化问题。

• 原作者/维护者：arXiv authors
• 来源平台：arxiv
• 原始标题：Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning
• 原始链接：http://arxiv.org/abs/2605.26110v1
• 来源发布时间/更新时间：2026-05-25T17:59:28Z

Prism：可扩展多模态持续指令微调的可复现插件化框架\n\n## 原作者与来源\n\n- 原作者/团队：LAMDA-CL实验室\n- 来源平台：arXiv\n- 原文标题：Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning\n- 原文链接：http://arxiv.org/abs/2605.26110v1\n- 发布时间：2026年5月25日\n- 开源代码：https://github.com/LAMDA-CL/Prism\n\n## 背景：多模态大模型的持续学习困境\n\n多模态大语言模型（MLLM）如GPT-4V、Claude 3、LLaVA等，通过指令微调技术将视觉理解、语言推理和任务执行统一到一个框架中，展现出惊人的通用性。然而，当这些模型部署到真实世界时，面临着一个严峻的挑战：持续适应新任务。\n\n现实世界是多变的：\n- 新的视觉概念不断涌现\n- 新的任务类型持续出现\n- 新的数据模态需要整合\n- 用户偏好和领域知识不断更新\n\n这催生了多模态持续指令微调（MCIT, Multimodal Continual Instruction Tuning）的研究方向——让MLLM能够在不遗忘旧知识的前提下，持续学习新任务。\n\n然而，MCIT研究面临着一个尴尬的工程困境。\n\n## 工程瓶颈：直接修改代码的代价\n\n当前MCIT方法的实现通常遵循一个模式：直接修改基础MLLM的代码库。\n\n研究者为了实现自己的新方法（如新的记忆机制、新的正则化策略、新的采样算法），需要深入修改LLaVA、Qwen-VL等基础模型的源代码。这种做法带来了一系列问题：\n\n### 1. 实现开销巨大\n\n每个新方法的实现都需要：\n- 理解复杂的MLLM代码库结构\n- 在多处插入修改代码\n- 处理版本兼容性问题\n- 调试因修改引入的bug\n\n这往往耗费数周甚至数月的工程时间，严重拖慢研究进度。\n\n### 2. 结构碎片化\n\n不同研究者基于不同版本的代码库进行修改，导致：\n- 代码结构各异，难以比较\n- 方法实现混杂在基础模型代码中，边界模糊\n- 复现他人工作时需要"考古"特定的代码版本\n\n### 3. 公平比较困难\n\n由于每个方法的代码库结构不同，进行公平对比变得异常困难：\n- 是否使用了相同的数据预处理？\n- 是否采用了相同的训练超参数？\n- 基础模型版本是否一致？\n\n这些问题使得MCIT领域的研究难以积累，每个新方法都在自己的"孤岛"上验证。\n\n## Prism：插件化的解决方案\n\nPrism的核心创新是将算法开发与主干模型实现分离。它通过轻量级的插件注册机制，允许研究者将自己的新方法作为独立插件开发，无需修改底层MLLM代码库。\n\n### 核心设计理念\n\nPrism的设计遵循几个关键原则：\n\n1. 插件即方法：每个MCIT方法是一个独立的插件模块\n2. 零侵入集成：插件通过注册机制接入系统，不修改主干代码\n3. 标准化接口：定义清晰的API契约，确保插件间可互换\n4. 原生扩展性：支持大规模训练流水线（如DeepSpeed、FSDP）\n\n### 插件注册机制\n\nPrism的插件系统基于Python的导入和注册机制。研究者只需：\n\npython\nfrom prism import register_plugin\n\n@register_plugin(\"my_continual_method\")\nclass MyContinualMethod:\n def on_task_start(self, task_id, model, ...):\n # 任务开始时的逻辑\n pass\n \n def compute_loss(self, batch, model, ...):\n # 自定义损失计算\n pass\n \n def on_task_end(self, task_id, model, ...):\n # 任务结束时的逻辑\n pass\n\n\n插件通过标准钩子（hooks）介入训练流程，如任务开始/结束、批次处理、模型保存/加载等。\n\n### 支持的标准功能\n\nPrism原生支持MCIT研究中的常见需求：\n\n- 记忆机制：弹性权重巩固（EWC）、渐进式神经网络、知识蒸馏等\n- 正则化策略：L2稀疏化、注意力正则化、特征对齐等\n- 采样策略：经验回放、核心集选择、梯度匹配等\n- 评估协议：标准持续学习评估流程、遗忘度量、前向/后向迁移\n\n## 技术架构：如何实现插件化\n\n### 分层架构\n\nPrism采用三层架构：\n\n第一层：基础模型层\n- 封装LLaVA、Qwen-VL、InternVL等主流MLLM\n- 提供统一的前向/反向传播接口\n- 隐藏底层框架差异（PyTorch、DeepSpeed等）\n\n第二层：插件管理层\n- 插件发现与加载\n- 生命周期管理（初始化、训练、评估、保存）\n- 钩子调度系统\n\n第三层：训练流水线层\n- 集成DeepSpeed、FSDP等分布式训练框架\n- 数据加载与预处理\n- 日志记录与检查点管理\n\n### 关键技术细节\n\n动态钩子注入：Prism使用Python的装饰器和元编程技术，在运行时动态地将插件逻辑注入到训练流程中，无需修改原始代码。\n\n状态隔离：每个插件维护自己的状态（如记忆库、正则化参数），通过序列化接口保存和恢复，避免与模型状态混淆。\n\n配置驱动：所有组件（模型、插件、训练参数）都通过YAML配置文件定义，确保实验可复现。\n\n## 使用示例：快速上手\n\n假设你想实现一个新的持续学习方法"MyMethod"：\n\n### 步骤1：创建插件文件\n\npython\n# my_method.py\nfrom prism import ContinualPlugin\n\nclass MyMethod(ContinualPlugin):\n def __init__(self, config):\n super().__init__(config)\n self.memory = []\n \n def on_batch_end(self, batch, outputs, model):\n # 自定义批次结束逻辑\n self.memory.append(batch)\n \n def compute_regularization(self, model):\n # 自定义正则化损失\n return self.config.lambda_reg * some_regularization(model)\n\n\n### 步骤2：注册并配置\n\nyaml\n# config.yaml\nmodel:\n name: llava-v1.5-7b\n \nplugins:\n - name: my_method\n path: ./my_method.py\n config:\n lambda_reg: 0.1\n memory_size: 1000\n\ntraining:\n tasks: [task1, task2, task3]\n epochs_per_task: 5\n batch_size: 8\n\n\n### 步骤3：运行实验\n\nbash\npython -m prism.train --config config.yaml\n\n\n整个过程无需修改Prism或MLLM的源代码，新方法完全封装在独立文件中。\n\n## 优势与影响\n\n### 对研究者的价值\n\n1. 快速原型：几小时而非几周即可实现新想法\n2. 公平对比：所有方法在同一基线上运行，结果可信\n3. 易于复现：配置即代码，实验可完全复现\n4. 社区协作：插件可共享，促进方法积累\n\n### 对领域的价值\n\nPrism有望解决MCIT研究的结构性问题：\n\n- 消除碎片化：统一的基础设施让研究聚焦算法创新\n- 加速进展：降低实验门槛，让更多人参与MCIT研究\n- 建立标准：通过社区使用逐步形成最佳实践\n\n## 局限与未来方向\n\n当前Prism的局限包括：\n\n- 支持的模型：目前主要支持基于LLaVA架构的模型，对其他架构（如Flamingo、PaLI）的支持仍在开发中\n- 插件生态：作为新项目，高质量的社区插件数量有限\n- 文档完善度：相比成熟的MLLM框架，文档和教程仍在建设中\n\n未来计划：\n\n- 更多基线模型：支持InternVL、Qwen-VL、CogVLM等主流MLLM\n- 插件市场：建立插件注册中心，方便发现和分享\n- 自动化基准：集成标准MCIT基准测试，一键评估\n\n## 结语：走向可复现的MCIT研究\n\nPrism代表了AI基础设施演进的一个重要方向——从"各自为政"到"共建共享"。在MCIT这样一个快速发展的领域，研究效率往往受限于工程实现。Prism通过插件化架构，将工程复杂性封装起来，让研究者可以专注于算法创新。\n\n对于希望进入MCIT领域的研究者，Prism提供了一个低门槛的起点；对于已经在进行MCIT研究的团队，Prism提供了公平对比和成果复现的基础设施。\n\n随着多模态大模型在真实世界中的部署越来越广泛，持续学习能力将从"锦上添花"变为"刚需"。Prism这样的基础设施，将为这一关键能力的研发提供坚实支撑。

原作者与来源

• 原作者/维护者：arXiv authors
• 来源平台：arxiv
• 原始标题：Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning
• 原始链接：http://arxiv.org/abs/2605.26110v1
• 来源发布时间/更新时间：2026-05-25T17:59:28Z Prism：可扩展多模态持续指令微调的可复现插件化框架\n\n原作者与来源\n\n- 原作者/团队：LAMDA-CL实验室\n- 来源平台：arXiv\n- 原文标题：Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning\n- 原文链接：http://arxiv.org/abs/2605.26110v1\n- 发布时间：2026年5月25日\n- 开源代码：https://github.com/LAMDA-CL/Prism\n\n背景：多模态大模型的持续学习困境\n\n多模态大语言模型（MLLM）如GPT-4V、Claude 3、LLaVA等，通过指令微调技术将视觉理解、语言推理和任务执行统一到一个框架中，展现出惊人的通用性。然而，当这些模型部署到真实世界时，面临着一个严峻的挑战：持续适应新任务。\n\n现实世界是多变的：\n- 新的视觉概念不断涌现\n- 新的任务类型持续出现\n- 新的数据模态需要整合\n- 用户偏好和领域知识不断更新\n\n这催生了多模态持续指令微调（MCIT, Multimodal Continual Instruction Tuning）的研究方向——让MLLM能够在不遗忘旧知识的前提下，持续学习新任务。\n\n然而，MCIT研究面临着一个尴尬的工程困境。\n\n工程瓶颈：直接修改代码的代价\n\n当前MCIT方法的实现通常遵循一个模式：直接修改基础MLLM的代码库。\n\n研究者为了实现自己的新方法（如新的记忆机制、新的正则化策略、新的采样算法），需要深入修改LLaVA、Qwen-VL等基础模型的源代码。这种做法带来了一系列问题：\n\n1. 实现开销巨大\n\n每个新方法的实现都需要：\n- 理解复杂的MLLM代码库结构\n- 在多处插入修改代码\n- 处理版本兼容性问题\n- 调试因修改引入的bug\n\n这往往耗费数周甚至数月的工程时间，严重拖慢研究进度。\n\n2. 结构碎片化\n\n不同研究者基于不同版本的代码库进行修改，导致：\n- 代码结构各异，难以比较\n- 方法实现混杂在基础模型代码中，边界模糊\n- 复现他人工作时需要"考古"特定的代码版本\n\n3. 公平比较困难\n\n由于每个方法的代码库结构不同，进行公平对比变得异常困难：\n- 是否使用了相同的数据预处理？\n- 是否采用了相同的训练超参数？\n- 基础模型版本是否一致？\n\n这些问题使得MCIT领域的研究难以积累，每个新方法都在自己的"孤岛"上验证。\n\nPrism：插件化的解决方案\n\nPrism的核心创新是将算法开发与主干模型实现分离。它通过轻量级的插件注册机制，允许研究者将自己的新方法作为独立插件开发，无需修改底层MLLM代码库。\n\n核心设计理念\n\nPrism的设计遵循几个关键原则：\n\n1. 插件即方法：每个MCIT方法是一个独立的插件模块\n2. 零侵入集成：插件通过注册机制接入系统，不修改主干代码\n3. 标准化接口：定义清晰的API契约，确保插件间可互换\n4. 原生扩展性：支持大规模训练流水线（如DeepSpeed、FSDP）\n\n插件注册机制\n\nPrism的插件系统基于Python的导入和注册机制。研究者只需：\n\npython\nfrom prism import register_plugin\n\n@register_plugin(\"my_continual_method\")\nclass MyContinualMethod:\n def on_task_start(self, task_id, model, ...):\n 任务开始时的逻辑\n pass\n \n def compute_loss(self, batch, model, ...):\n 自定义损失计算\n pass\n \n def on_task_end(self, task_id, model, ...):\n 任务结束时的逻辑\n pass\n\n\n插件通过标准钩子（hooks）介入训练流程，如任务开始/结束、批次处理、模型保存/加载等。\n\n支持的标准功能\n\nPrism原生支持MCIT研究中的常见需求：\n\n- 记忆机制：弹性权重巩固（EWC）、渐进式神经网络、知识蒸馏等\n- 正则化策略：L2稀疏化、注意力正则化、特征对齐等\n- 采样策略：经验回放、核心集选择、梯度匹配等\n- 评估协议：标准持续学习评估流程、遗忘度量、前向/后向迁移\n\n技术架构：如何实现插件化\n\n分层架构\n\nPrism采用三层架构：\n\n第一层：基础模型层\n- 封装LLaVA、Qwen-VL、InternVL等主流MLLM\n- 提供统一的前向/反向传播接口\n- 隐藏底层框架差异（PyTorch、DeepSpeed等）\n\n第二层：插件管理层\n- 插件发现与加载\n- 生命周期管理（初始化、训练、评估、保存）\n- 钩子调度系统\n\n第三层：训练流水线层\n- 集成DeepSpeed、FSDP等分布式训练框架\n- 数据加载与预处理\n- 日志记录与检查点管理\n\n关键技术细节\n\n动态钩子注入：Prism使用Python的装饰器和元编程技术，在运行时动态地将插件逻辑注入到训练流程中，无需修改原始代码。\n\n状态隔离：每个插件维护自己的状态（如记忆库、正则化参数），通过序列化接口保存和恢复，避免与模型状态混淆。\n\n配置驱动：所有组件（模型、插件、训练参数）都通过YAML配置文件定义，确保实验可复现。\n\n使用示例：快速上手\n\n假设你想实现一个新的持续学习方法"MyMethod"：\n\n步骤1：创建插件文件\n\npython\nmy_method.py\nfrom prism import ContinualPlugin\n\nclass MyMethod(ContinualPlugin):\n def __init__(self, config):\n super().__init__(config)\n self.memory = []\n \n def on_batch_end(self, batch, outputs, model):\n 自定义批次结束逻辑\n self.memory.append(batch)\n \n def compute_regularization(self, model):\n 自定义正则化损失\n return self.config.lambda_reg * some_regularization(model)\n\n\n步骤2：注册并配置\n\nyaml\nconfig.yaml\nmodel:\n name: llava-v1.5-7b\n \nplugins:\n - name: my_method\n path: ./my_method.py\n config:\n lambda_reg: 0.1\n memory_size: 1000\n\ntraining:\n tasks: [task1, task2, task3]\n epochs_per_task: 5\n batch_size: 8\n\n\n步骤3：运行实验\n\nbash\npython -m prism.train --config config.yaml\n\n\n整个过程无需修改Prism或MLLM的源代码，新方法完全封装在独立文件中。\n\n优势与影响\n\n对研究者的价值\n\n1. 快速原型：几小时而非几周即可实现新想法\n2. 公平对比：所有方法在同一基线上运行，结果可信\n3. 易于复现：配置即代码，实验可完全复现\n4. 社区协作：插件可共享，促进方法积累\n\n对领域的价值\n\nPrism有望解决MCIT研究的结构性问题：\n\n- 消除碎片化：统一的基础设施让研究聚焦算法创新\n- 加速进展：降低实验门槛，让更多人参与MCIT研究\n- 建立标准：通过社区使用逐步形成最佳实践\n\n局限与未来方向\n\n当前Prism的局限包括：\n\n- 支持的模型：目前主要支持基于LLaVA架构的模型，对其他架构（如Flamingo、PaLI）的支持仍在开发中\n- 插件生态：作为新项目，高质量的社区插件数量有限\n- 文档完善度：相比成熟的MLLM框架，文档和教程仍在建设中\n\n未来计划：\n\n- 更多基线模型：支持InternVL、Qwen-VL、CogVLM等主流MLLM\n- 插件市场：建立插件注册中心，方便发现和分享\n- 自动化基准：集成标准MCIT基准测试，一键评估\n\n结语：走向可复现的MCIT研究\n\nPrism代表了AI基础设施演进的一个重要方向——从"各自为政"到"共建共享"。在MCIT这样一个快速发展的领域，研究效率往往受限于工程实现。Prism通过插件化架构，将工程复杂性封装起来，让研究者可以专注于算法创新。\n\n对于希望进入MCIT领域的研究者，Prism提供了一个低门槛的起点；对于已经在进行MCIT研究的团队，Prism提供了公平对比和成果复现的基础设施。\n\n随着多模态大模型在真实世界中的部署越来越广泛，持续学习能力将从"锦上添花"变为"刚需"。Prism这样的基础设施，将为这一关键能力的研发提供坚实支撑。