CoT推理的置信度陷阱：熵值如何暴露LLM的"自信错误"

本研究聚焦大语言模型（LLM）思维链（CoT）推理中的"自信错误"现象。通过分析Qwen2.5-1.5B在多项式方程求解中的逐步熵值与代数一致性，发现模型在代数操作违反数学规则时往往表现出低熵（高置信度），揭示了依赖置信度判断推理正确性的局限，并提出检测与改进方向。

大语言模型的CoT推理能力通过分解复杂任务提升准确性，但存在核心问题：模型常生成看似合理却错误的推理步骤（"自信错误"），尤其在数学推理等精确场景中可能导致严重后果，用户难以察觉。

研究核心问题：逐步熵值能否预测代数一致性违反？

• 逐步熵值：反映模型每步推理的置信度（低熵=高确定，高熵=犹豫）；
• PACS评分：量化多项式求解中代数操作的一致性（检查等式平衡、变形正确性等）。

核心发现：模型犯错时往往表现低熵（高置信）。 现象：低熵≠正确，代数错误不总是对应高熵区域，模型对某些错误路径异常确定。 原因：训练数据偏差（熟悉错误模式）、模式匹配局限（非符号推理）、CoT累积效应（早期错误导致后续一致推进）。

• 实验设计：测试集覆盖二次、三次、四次多项式（验证不同复杂度推理能力）；
• 测量方法：记录每步熵值（香农熵）、PACS评分、两者相关性；
• 模型选择：Qwen2.5-1.5B（规模适中、开源、数学能力良好）。

• 模型评估：挑战"置信度=正确性"假设；
• 错误检测：需外部验证器（如PACS）、多步一致性检查、对抗性测试；
• 训练改进：不确定性校准、错误意识训练、符号-神经混合验证。

局限：仅在Qwen2.5-1.5B验证、聚焦多项式领域、熵指标单一； 未来方向：跨模型验证（GPT/Llama等）、多领域扩展（代码/逻辑推理）、改进检测指标、实时干预错误。

研究揭示LLM可在高置信下产生代数不一致推理。实际应用需：不盲目信任置信度、开发领域验证机制、建立多层可靠性检查。理解并解决"自信错误"是构建可信赖LLM应用的核心挑战。