大语言模型真的懂概率吗？——一项关于LLM概率推理能力的基准测试研究

本研究针对大语言模型（LLM）的离散概率推理能力展开基准测试，结果显示：LLM在常规概率问题上平均准确率达96%，但面对反直觉问题时骤降至59%；模型对提示词表述极度敏感，措辞变化可导致性能下降超20%；思维链提示在反直觉问题上提升有限。研究来源为arXiv 2026年6月5日发布的论文《How reliable are LLMs when it comes to playing dice?》（链接：http://arxiv.org/abs/2606.07515v1），提醒高风险决策领域需谨慎使用LLM。

LLM在数学推理、代码生成等领域进展显著，甚至能处理国际奥数级别题目，但核心问题是：模型是理解概念还是模仿模式？概率推理是人类认知的"陷阱领域"（如蒙提霍尔问题、生日悖论），若LLM要成为可靠推理工具，需在这些认知陷阱前保持稳健，这是本研究的动机。

研究评估8个先进LLM，构建两个数据集：1.标准练习题集（常规离散概率问题）；2.反直觉练习题集（触发启发式错误的问题）。每个模型在零样本和思维链（CoT）提示两种条件下测试，以分离模型能力与提示增益。

模型在标准问题上平均准确率96%，但反直觉问题骤降至59%，所有模型均存在此现象。这表明LLM的概率推理是"浅层"的——能处理常规问题，但缺乏真正的概率直觉，难以抵抗直觉误导。

研究发现模型对提示词极度敏感：1.Token偏差效应：数学等价但措辞不同的问题，性能下降超20%；2.误导性提示：嵌入"直觉上你可能认为..."等引导，性能降幅达34%。说明模型依赖特定词汇句式，而非抽象概念推理。

思维链提示在标准问题上提升显著，但反直觉问题上改进有限。这暗示CoT主要帮助组织已知信息，而非纠正推理偏差——当问题需克服直觉误导时，仅"一步步思考"无法解决根本问题。

实践启示：1.高风险领域（医疗、金融等）需人类监督验证；2.需开发稳健提示模板与输入验证机制。未来方向：1.评估框架需纳入更多反直觉/对抗性测试；2.研究如何赋予LLM真正的概率直觉，提升提示稳健性。

LLM虽在多任务表现惊人，但本研究显示其离散概率推理能力存在深层缺陷，距离可靠推理引擎尚有距离。部署AI系统前需清醒认识其能力边界，建立安全保障机制。