上下文持续学习理论：揭示Transformer中的任务干扰与遗忘机制

原作者与来源

• 原作者/维护者：arXiv作者团队
• 来源平台：arXiv
• 原始标题：Understanding Generalization and Forgetting in In-Context Continual Learning
• 原始链接：http://arxiv.org/abs/2605.28705v1
• 来源发布时间/更新时间：2026-05-27

核心观点

本文提出首个上下文持续学习理论框架，通过线性注意力分析揭示标准注意力机制因均匀聚合历史上下文导致任务间干扰，提出偏差-方差-干扰误差分解，解释顺序敏感性和长提示性能退化现象。

上下文学习（ICL）是大语言模型的核心能力之一，可通过提示示例无参数更新适应新任务，但现有ICL理论局限于单任务设置。现实提示常包含多个异构任务序列（如翻译→总结→问答），引出关键问题：LLM推理中是否隐式执行持续学习？其规律是什么？

本文提出首个针对上下文持续学习的理论框架，建模预训练Transformer通过共享注意力机制处理单个提示中的多个顺序任务。研究聚焦线性和掩码线性自注意力机制，推导顺序任务提示下模型预测的误差表达式，分析泛化和遗忘行为（基于线性注意力假设，揭示标准注意力机制的核心特性）。

任务间干扰

标准注意力机制不可避免诱导任务间干扰：通过均匀或因果聚合历史上下文，导致不同任务信息相互干扰，产生系统性偏差，解释了多任务提示性能低于单任务的现象。

误差分解

提出预测误差的偏差-方差-干扰分解：

• 偏差：模型对真实函数的系统性偏离
• 方差：模型对训练数据波动的敏感性
• 干扰：历史任务信息对当前任务的负面影响 该框架可精确刻画正负迁移场景。

顺序敏感性

提示中任务顺序显著影响性能：因注意力聚合历史上下文，早期任务信息持续影响后续任务（相似任务正迁移，冲突任务负迁移），解释了调整任务顺序可改善性能的现象。

长提示退化

随着提示长度增加，模型性能下降：干扰项累积，历史干扰信息淹没当前任务相关信息，说明提示长度需权衡而非单纯增加。

研究为提示工程提供四点指导：

1. 任务隔离：用明确分隔符或指令减少多任务干扰
2. 顺序优化：相似任务放在一起，避免冲突任务连续出现
3. 长度控制：根据任务复杂度权衡示例数量
4. 注意力模式：使用特定注意力掩码减少无关上下文干扰

局限

理论分析基于线性注意力假设，与实际Transformer的softmax注意力存在差异，部分现象需更复杂框架分析。

未来方向

• 扩展到softmax注意力分析
• 研究更复杂的任务序列模式
• 探索减少干扰的注意力机制设计
• 将理论框架应用于提示优化算法

本工作填补ICL理论空白，首次系统性分析上下文持续学习的泛化和遗忘问题，揭示注意力机制在持续学习场景的根本局限，为理解LLM推理行为提供新视角，帮助从业者设计更可靠的提示策略。