导读：单样本无监督校准让推理大模型拥有"自知之明"

本文提出一种无需标注数据和重复采样的推理LLM置信度校准方法，通过离线自一致性蒸馏训练轻量级置信度预测器，显著提升模型可靠性。该方法解决现有校准技术依赖标注数据或增加推理开销的局限，为高风险场景部署提供支持。

背景：推理模型的可靠性困境与现有方法局限

大语言模型推理能力提升，但存在校准偏差：过度自信错误答案或对正确答案犹豫不决，制约高风险场景应用。 置信度校准是衡量模型"自知之明"的核心指标，但现有方法存在局限：

1. 依赖标注数据，成本高昂；
2. 推理时多次采样（如Self-Consistency），增加延迟和计算开销。 如何在单样本推理场景实现有效校准成为关键问题。

核心思路：离线蒸馏自一致性信号实现无监督校准

方法分两阶段： 离线训练阶段：用大量未标注问题对基础模型多次采样，生成多条推理路径和答案，统计一致性程度构建自一致性代理目标（相同答案多则可靠）；训练轻量级预测器，以单条推理路径为输入，学习预测答案可靠性（无需人工标注）。 部署阶段：模型生成单条回答时，预测器实时输出可靠性估计，仅需一次前向传播，低延迟。

技术细节：从自一致性特征到鲁棒预测器设计

关键技术：

1. 特征迁移：提取推理路径特征（长度、中间步骤确定性、关键节点分布、生成概率特性等），关联特征与自一致性分数，学习统计规律；
2. 轻量级预测器：采用MLP或小型Transformer（基础模型1%-5%参数量），输入特征编码后输出0-1校准分数，训练目标为最小化与代理目标的均方误差；
3. 分布鲁棒优化：离线采样覆盖多样任务和难度，增强泛化能力，应对分布偏移。

实验验证：多任务多模型下的领先表现

在5个任务（GSM8K、MATH、StrategyQA、HotpotQA、Natural Questions）和9个模型（7B-70B参数，Llama/Qwen/DeepSeek等）验证：

• 评估指标（ECE、选择性预测准确率、下游决策）均优于基线（温度标度、Platt缩放、生成概率启发式）；
• 跨域测试（数学训练→问答应用）零样本迁移仍保持高精度，监督方法性能衰减；
• 选择性预测：拒绝30%低置信度问题，剩余准确率提升8-15个百分点。

对比分析：与传统方法的优势对比

• vs温度标度：非侵入性，不干预生成过程，灵活应用于任何推理模型；
• vs Self-Consistency：保持相近校准精度，推理开销降低5-10倍（单次生成+轻量预测器）；
• vs监督方法：无监督特性降低应用门槛，无需标注数据，适用于更多场景。

应用场景：高效率低成本的实用价值

适用于：

1. 在线问答系统：根据置信度决定展示答案/转人工，提升体验降低风险；
2. 自动评分系统：低置信度回答标记人工复核，平衡自动化与质量；
3. 多模型集成：动态选择置信度最高的模型回答；
4. 持续学习：指导主动学习，优先标注不确定样本；
5. 可解释性：通过预测器特征洞察模型易错步骤，辅助优化。

局限与未来方向：进一步优化的路径

局限：

1. 离线采样阶段计算开销大（超大规模模型）；
2. 基础模型微调/量化后，预测器需调整；
3. 仅评估答案层面置信度，未涉及中间推理步骤。

未来方向：

• 减少离线采样次数；
• 增强预测器对基础模型变化的鲁棒性；
• 细化校准粒度到推理步骤；
• 结合不确定性量化与可解释性，构建更可信AI系统。