ReaCon与SG-LoRI：通过受控推理干预减少大语言模型中的内容效应

本文介绍针对大语言模型内容效应问题的创新解决方案：ReaCon基准数据集和SG-LoRI方法。ReaCon通过精细控制分离逻辑有效性与语义合理性，SG-LoRI则通过模式引导的低秩干预修正模型表征，使模型推理更依赖形式逻辑而非表面语义可信度。

大语言模型存在'内容效应'偏差：倾向于偏好语义上合理的结论，即使逻辑不成立。例如，模型更易接受逻辑无效但常识符合的推理链，而非逻辑有效但反直觉的。这源于预训练中对大规模文本的暴露，使模型学会'听起来对'而非逻辑成立，导致系统性推理错误。

ReaCon是研究内容效应的受控推理基准数据集，核心是分离关键变量：

• 可控维度：逻辑有效性、语义合理性、数值正确性、反事实扰动、推理难度、分布外泛化
• 标注结构：JSONL格式，包含输入文本、逻辑有效性标签、数值正确性标签、推理难度、逻辑模式、反事实标记等字段，支持精确测量模型推理行为。

SG-LoRI是参数高效的训练时干预方法，核心设计：

• 冻结预训练模型主干，仅训练轻量级组件，优势为参数效率高、模块化、可解释、可逆
• 架构组件：模式门控（识别推理模式）、模式特定低秩矩阵、有效性分类器、内容效应指标
• 工作流程：模式门控识别模式→激活对应低秩适配器→干预隐藏表征→输出逻辑有效性预测。

实验设计包括消融实验与多维度评估：

• 消融设置：无模式监督、全线性适配器、共享适配器、无模式门控，验证各组件价值
• 数据集划分：dev（调优）、test_iid（标准泛化）、test_ood_vocab（词汇OOD）、test_ood_structure（结构OOD），全面检验泛化能力。

理论贡献：ReaCon提供诊断工具，SG-LoRI展示偏差修正方法，低秩干预洞察表征结构 实践价值：可应用于法律分析（基于条文而非合理性）、医疗诊断（避免症状描述误导）、金融风控（基于真实风险信号）、科学推理（确保逻辑严谨）等领域。

当前局限：训练数据需用户自行准备、支持模型有限、规模扩展待验证、仅训练时干预 未来方向：结合激活干预、扩展模型架构、多模态推理、无监督模式发现等。