LLM数学幻觉评估器：用扰动测试揭示大语言模型的代数脆弱性

本文介绍了llm-math-hallucination-evaluator项目，该项目通过扰动测试框架系统性检测大语言模型在数学推理中的"表面依赖"幻觉。研究发现模型整体正确率仅57.6%，存在显著的系统性脆弱性，并验证了符号脚手架等干预策略可有效提升模型可靠性。

传统幻觉研究多关注事实性错误，而数学幻觉更微妙：模型在等价数学问题的不同表达形式下答案波动，反映其依赖表面形式而非深层逻辑。本项目核心洞察是：真正理解数学的模型应对等价问题给出一致答案，否则存在"表面依赖"幻觉。

项目技术架构包含三部分：

1. 扰动引擎：生成10种表达式变体（6种语义保持、4种对抗陷阱），测试模型一致性；
2. 幻觉分类体系：将错误分为6类，如外在变量发明（恒等乘法陷阱触发最多）、域变换等；
3. 评估指标：表达式一致性分数(ECS)、正确率、鲁棒性分数（一致性+准确性加权）。

大规模实验（900查询）结果：

• 整体正确率仅57.6%；
• 对抗陷阱破坏力显著（恒等乘法触发52次外在变量发明错误）；
• 符号脚手架策略：完全消除DeepSeek-Chat模型幻觉，鲁棒性分数达1.0。

项目使用Python开发，依赖SymPy库进行符号数学解析与规范归一化（作为答案正确性的"金标准"）；通过OpenRouter API集成多LLM供应商模型，简化跨模型比较流程。

研究对多领域有重要价值：

• 教育：帮助筛选可靠AI学习工具，避免误导学生；
• 代码生成：指导开发者设计提示与验证机制；
• 科学研究：为AI辅助数据分析提供可靠性评估工具。

本项目揭示LLM数学推理存在系统性脆弱性，但符号脚手架等干预策略有效。未来方向包括：精细化幻觉分类、探索更多干预手段、扩展评估至几何/概率等数学领域。该框架帮助从业者评估模型能力边界，做出明智技术选择。