发现共享逻辑子空间：通过自然语言与符号视角对齐引导LLM推理

本文核心研究发现：LLM内部存在跨自然语言与符号视角的共享逻辑子空间，通过典型相关分析（CCA）可提取该子空间，并设计无需训练的推理引导方法沿此子空间定向生成，在逻辑推理基准上实现最高11个百分点的准确率提升。该成果为理解LLM逻辑推理机制及神经符号融合提供新路径。

尽管LLM在文本生成等任务表现优异，但多步骤逻辑推理仍是短板。现有解决方案存在局限：

纯自然语言方法（如Chain-of-Thought）

• 格式不稳定，易出现逻辑跳跃
• 缺乏验证机制，中间结论易幻觉

外部符号求解器

• 自然语言与符号转换易出错
• 能力割裂，模型未真正学会推理
• 无法处理非形式化问题

核心假设

LLM中存在低维共享逻辑子空间，编码自然语言与符号形式的逻辑推理能力，与表面形式无关。

发现方法

1. 数据构建：创建平行推理语料库（同一问题的自然语言与符号解答）
2. 激活采集：输入成对内容，采集各层残差激活
3. CCA分析：通过典型相关分析找到两种激活的最大相关低维子空间，证实共享子空间存在。

引导机制

1. 初始生成初步推理步骤
2. 提取当前层残差激活
3. 投影到共享逻辑子空间
4. 融合符号视角期望激活
5. 修正模型状态至理想逻辑状态
6. 继续生成下一步

优势

无需训练（无需微调参数/额外数据），可即插即用至任意预训练模型。

基准数据集

LogiQA、ReClor、ProofWriter、FOLIO

结果

• 平均提升7-8个百分点
• ProofWriter上最高提升11个百分点
• 优于纯CoT提示与简单集成方法

泛化能力

跨领域（如数学证明→逻辑问答）仍有效，表明子空间捕获通用逻辑能力

消融实验

仅单视角效果有限，结合双视角效果最佳。

逻辑模式

• 演绎推理（如modus ponens）、归纳推理、溯因推理形成清晰聚类
• 逻辑连接词（AND/OR/IF-THEN）有独特表征方向

层级差异

• 浅层：捕获句法逻辑结构
• 中层：捕获语义推理模式
• 深层：捕获抽象逻辑关系

启示

1. LLM内部存在可提取的逻辑推理能力
2. 神经符号融合新路径：在网络内部发现符号结构
3. 为LLM可解释性提供新工具

局限

• CCA假设线性关系
• 子空间静态，未适配任务
• 引导过程增加计算开销

未来工作

• 探索非线性子空间发现方法
• 动态子空间自适应调整
• 扩展至数学/物理/因果推理
• 优化引导算法降低开销