Neuro-RIT：神经元级精准调控让RAG系统更鲁棒，有效抑制噪声干扰

Neuro-RIT针对检索增强生成（RAG）系统对检索质量高度敏感、易受噪声干扰的核心问题，基于LLM神经元稀疏性特性，通过归因分析挖掘区分相关/无关上下文的神经元，采用功能性关闭噪声相关神经元+两阶段指令微调策略，在多个知识密集型QA基准上持续超越基线方法，实现RAG系统鲁棒性显著提升。

RAG架构依赖外部检索减少幻觉，但检索噪声会大幅降低模型性能，且LLM难以有效区分相关/无关信息。现有鲁棒性提升方法多在层或模块级别更新参数（如添加特殊token、设计注意力机制、对抗训练），粒度粗，效率低且易干扰模型其他任务能力。

LLM前馈网络存在神经元级稀疏性，每次前向传播仅少量神经元激活。这意味着不同功能由不同神经元子集负责，特定任务依赖少量参数，精准调控比全局更新更有效。Neuro-RIT正是基于这一洞察，聚焦神经元级精准干预。

1. 归因挖掘

通过积分梯度等归因分析方法，计算神经元对相关/无关文档的贡献度，识别相关神经元（正向贡献）和无关神经元（噪声激活且负贡献）。

2. 功能抑制

训练时对无关神经元输出强制置零或抑制，直接关闭噪声相关神经通路。

3. 两阶段微调

• 阶段一：用含噪声样本训练，应用功能抑制；
• 阶段二：用干净样本优化，强化证据提取能力。

在Natural Questions、TriviaQA、HotpotQA等多个QA基准测试，对比标准RAG、对抗训练等方法：

• 准确率提升5-15个百分点；
• 噪声下性能衰减更慢；
• 泛化到未见过的噪声类型更好。 消融实验证明：去掉神经元挖掘、功能关闭或单阶段训练，性能均显著下降。

• 归因方法：选择积分梯度近似版本，平衡精度与效率；
• 功能关闭：可采用硬掩码（置零）或软掩码（乘小系数）；
• 计算优化：通过缓存归因结果、批量处理控制额外开销。

• 范式转变：从密集参数更新到稀疏神经元精准调控；
• 可解释性：明确噪声相关神经元，助力调试改进；
• 模块化设计：可构建对应特定神经元集合的噪声过滤、证据提取模块。

• 归因准确性：需更精确的因果推断方法；
• 跨任务迁移：探索神经元模式的跨任务通用性；
• 动态适应性：设计实时调整神经元激活的机制；
• 技术结合：与更好的检索器、重排序模型等融合优化。