大语言模型的概率推理能力究竟有多可靠？——一项关于离散概率问题的基准测试研究

本文解读一项针对大语言模型概率推理能力的系统性基准测试研究。研究团队对8款主流模型进行评估，发现模型在标准离散概率问题上准确率达96%，但反直觉问题上骤降至59%；还揭示token偏见（语义等价换词后性能降超20%）和误导性提示（性能降34%）对模型表现的显著影响。原作者为Luca Avena、Gianmarco Bet、Bernardo Busoni，来源为arXiv（2026-06-05发布，链接：https://arxiv.org/abs/2606.07515）。

随着大语言模型在各类任务中展现惊人表现，人们关注其是否具备可靠推理能力。概率推理是人类认知核心，且常含反直觉特性——即使人类也易出错。若LLM依赖模式匹配而非逻辑推理，反直觉问题会暴露系统性缺陷。团队希望通过实验揭示当前LLM概率推理的能力边界。

研究构建两套测试数据集：标准题集（常规离散概率题，解题路径明确）、反直觉题集（触发启发式错误推理）。评估8款先进模型，测试两种条件：直接回答、思维链提示（要求先展示推理过程）。

实验结果显示：标准题平均准确率96%，反直觉题降至59%（低于二选一随机水平）。这表明LLM在概率推理上可能依赖训练数据模式识别，而非真正逻辑推理；当问题表述偏离常规时，性能显著下降。

研究发现token偏见现象：将问题替换为语义等价但词汇不同的“伪装”版本，模型性能降超20%。说明模型判断受特定词汇出现频率影响，而非仅基于逻辑结构，对实际应用的稳健性提出挑战。

嵌入误导性信息的提示使模型性能降34%，无模型能完全免疫。这类似人类认知中的锚定效应和框架效应，提示LLM可能受上下文信息“污染”，而非纯粹逻辑运算。

结论：当前LLM尚未成为真正的概率推理器。改进方向：开发鲁棒训练方法、设计含“陷阱”题的全面评估基准、探索更有效推理增强技术。应用建议：金融风控、医疗诊断等需精确概率判断的领域，应谨慎部署LLM，建立人工审核与风险防控机制。