大型推理模型的不确定性量化：结合共形预测与Shapley值的新方法

本文针对大型推理模型的不确定性量化困境，提出结合共形预测与Shapley值的新方法，既为模型提供具有统计保证的不确定性量化，又能解释不确定性的来源，对AI系统的安全部署具有重要意义。

问题背景

大型推理模型（LRMs）在复杂推理任务上取得显著进展，但量化其生成内容的不确定性仍是关键挑战，传统方法无法提供有限样本保证，导致实际应用中难以信任模型输出。

现有方法局限

共形预测（CP）虽能构建统计严格的不确定性集合，但存在两大问题：1. 忽视推理轨迹与答案的逻辑关联；2. 无法解释不确定性来源。此外，区分推理质量与答案正确性、为高效解释方法建立理论保证也极具挑战。

新方法第一阶段针对推理-答案结构进行不确定性量化，并提供统计保证。该方法不仅关注最终答案，还重视整个推理过程的可靠性。

第二阶段开发从示例到步骤的统一解释框架，利用Shapley值识别：

1. 关键训练示例子集（哪些训练数据对当前推理至关重要）；
2. 关键推理步骤（推理过程中哪些步骤对保证覆盖性不可或缺）。

研究对所提方法进行详细理论分析，并在多个挑战性推理数据集上开展广泛实验。结果表明，该方法能有效量化不确定性，同时提供可解释性。

实际意义

• 可靠性评估：帮助用户判断何时信任模型推理结果；
• 错误诊断：通过识别关键训练示例和步骤，助力开发者定位问题根源；
• 模型改进：为针对性优化提供指导。

应用前景

未来有望扩展到更多类型推理任务，为构建更可信赖的AI系统奠定基础。