大语言模型形式化推理能力诊断：正则语言测试揭示11种系统性失效模式

本研究针对GPT-5.2、Grok-4.1、Gemini-2.5及Qwen2.5系列模型，通过正则语言这一可完全验证的形式化领域，系统性评估其符号推理能力，识别出11种失效模式，并提出VGNS（向量引导神经元选择）干预框架。研究结果为LLM形式化推理能力的边界评估及优化提供重要参考。

大语言模型在代码生成、数学推理等任务表现亮眼，但形式化推理边界不明。正则语言作为计算理论中最简单的形式语言类别，具有可完全验证特性（字符串是否属于某正则语言可确定性判定），成为测试LLM符号推理的理想沙盒。研究构建180个问题的诊断基准，测试主流模型在不同复杂度层级的能力差异。

研究设计四级测试框架，对应不同认知复杂度：

• Tier1：基础正则表达式理解（字符类、量词等组合）
• Tier2：构造性任务（自然语言转正则表达式/有限自动机）
• Tier3：等价性验证与转换（判断正则表达式等价性、不同表示形式转换）
• Tier4：完整子集构造（NFA转DFA，需追踪幂集状态空间）

研究识别出11种失效模式，分三类： 构造性任务：锚点幻觉、可空性忽视、原子单元盲视、作用域与嵌套混淆； 推导过程：伪结构幻觉、简单路径偏见、复杂性回避； 验证阶段：轨迹伪造、贪婪解析失败、索引与位置漂移、描述-操作失调。

对Qwen2.5模型的微调实验显示：

• CoT设置下7B模型Tier1-3达100%准确率，整体96.5%，但Tier4仅82.9%；
• No-CoT训练在Tier4表现更好，14B模型Tier4达97.7%，整体98.0%。这挑战了“思维链总是助于复杂推理”的直觉，推测直接输入输出映射对算法步骤类任务更有效。

针对Tier4任务挑战，提出VGNS框架：通过分析成功/失败案例的内部激活差异，识别“好神经元”，推理时激活修补增强其贡献。4轮迭代后Tier4准确率从85.3%提升至87.7%，优于其他干预方法，但提升有限，表明深层局限可能源于架构或训练数据。

研究启示：

1. 可完全验证领域测试的价值：正则语言任务有明确对错标准，失效分析更客观；
2. 规模与推理能力的非线性：更大模型在Tier1-3更好，但Tier4瓶颈与规模关系不大；
3. 简单形式化领域仍存缺陷：需警惕安全关键系统中的应用风险。

研究团队已开源实验代码、数据集、训练配置等。未来方向包括：探索更大模型Tier4表现、开发子集构造任务训练数据、研究多模态输入影响、扩展框架到上下文无关语言等更复杂形式语言。