SETA：稀疏专家混合架构破解大模型持续学习困境

本文介绍SETA（Mixture of Sparse Experts for Task Agnostic Continual Learning）框架，通过自适应稀疏子空间分解和专家路由机制，解决大语言模型持续学习中的可塑性与稳定性冲突，在学习新知识时防止灾难性遗忘。该框架将参数空间分为独特专家（任务专属）和共享专家（跨任务通用），结合动态路由机制，实现高效持续学习。

大语言模型持续学习面临可塑性与稳定性的两难：学习新任务需更新参数，但易破坏旧知识导致灾难性遗忘。现有方法将参数视为同质资源，未区分任务特有与共享知识，导致新旧任务参数竞争，顾此失彼。

SETA的核心创新是分离参数空间为两部分：

• 独特专家：每个新任务拥有独立模块，学习任务特有模式，互不干扰；
• 共享专家：捕捉跨任务通用特征与知识，所有任务共享，确保通用能力复用。 此架构避免新旧任务参数竞争，从根本解决冲突。

SETA通过三项技术保障效果：

1. 自适应弹性锚定机制：对共享专家参数施加软性约束，允许必要调整同时防止灾难性参数漂移；
2. 路由感知正则化：在权重和路由层面保护共享知识，避免门控网络过度改变共享专家调用模式；
3. 统一门控网络：推理时动态激活相关独特与共享专家，无需任务标识即可自动调用知识。

实验基于LLaMA-2 7B、Qwen3-4B等模型，在多领域基准测试（文本分类、问答、生成）上评估：

• 整体性能：与最先进基线相当或更优；
• 知识保持：有效缓解灾难性遗忘，早期任务性能保持良好；
• 后向迁移：学习新任务有时提升旧任务表现； 对比现有方法：比正则化方法（EWC、SI）保护更强，比架构方法（Progressive Networks）参数更高效，比重放方法无需存储旧数据。

SETA揭示了LLM参数空间特性：不同任务知识占据不同子空间；实现动态容量分配（自适应分配专属与共享容量）；任务无关设计（推理无需任务标识）增强实用性，适合真实场景。

SETA仍有开放问题：

• 平衡专家数量与模型规模；
• 探索专家合并与压缩提升参数效率；
• 更细粒度子空间分解；
• 结合知识蒸馏、元学习等技术增强能力。

SETA的应用价值包括：个性化模型服务、领域适应、隐私保护学习、终身学习系统。结语：SETA为LLM持续学习提供新颖有效方案，理论与实验均表现出色，为该领域研究开辟新可能。