ORCE：大语言模型语言化置信度的顺序感知对齐方法（导读）

ORCE是一种解耦的顺序感知置信度校准框架，核心在于分离答案生成与置信度估计两个阶段，并基于采样构建排序学习目标，实现更可靠的语言化置信度对齐。该方法在保持答案准确性的同时，显著提升了校准性能和失败预测能力，为解决大语言模型过度自信的问题提供了有效方案。

置信度估计的现实困境

大语言模型常表现出过度自信，即使答案错误仍高置信度陈述，给医疗、法律等领域应用带来风险。语言化置信度（如"非常确定"）是直观解决方案，优势在于无需访问模型内部token概率即可获取不确定性信号。但现有方法将答案生成与置信度生成耦合，导致优化目标冲突：为表达保守置信度可能生成模糊答案，或为明确答案被迫高置信度，限制两者独立优化。

ORCE的解耦架构设计

ORCE采用两阶段解耦框架：

1. 答案生成阶段：模型仅专注生成答案，确保质量不受置信度目标干扰；
2. 置信度估计阶段：以固定的问题-答案对为输入，专注校准目标。 解耦优势：优化目标无冲突、利用完整答案信息、置信度模块可独立迭代改进。

顺序感知的学习目标创新

ORCE摒弃传统绝对准确性优化，转向相对排序目标：对每个问题生成多个候选答案，训练置信度模块为更可能正确的答案分配更高置信度。该目标降低学习难度（无需精确概率）、对标签噪声鲁棒。通过基于排序的强化学习奖励机制，引导模型区分答案的置信度高低。

实验评估结果分析

在推理和知识密集型基准上，ORCE表现显著：

• 校准性能：置信度与实际正确率相关性优于基线，校准曲线更接近理想对角线；
• 失败预测：能高准确率筛选低置信度回答需人工复核，保持高置信度回答通过率；
• 答案准确性：因解耦架构，未因置信度训练下降，优于耦合方法。

ORCE的对比优势与应用场景

与概率置信度对比

语言化置信度通用性强（适用于黑盒API），与基于token概率的方法互补，可结合使用提升准确性。

实际应用

• 问答系统：决定直接回答/人工介入；
• RAG系统：评估文档是否支持可靠答案；
• 多步骤推理：识别薄弱环节并重新推理。

ORCE的局限与未来方向

局限

• 推理开销增加（两次前向传播）；
• 语言化置信度粒度粗（离散表达）；
• 依赖答案正确性标注（开放域任务挑战）。

未来方向

• 低延迟优化；
• 更细粒度的语言化置信度表达；
• 弱监督/无监督置信度校准探索。

结语：ORCE对可信AI的意义

ORCE为大模型置信度校准提供优雅解决方案，其解耦设计与顺序感知目标不仅提升了语言化置信度对齐效果，也为学习目标分离与组合提供了见解。在AI融入决策流程的今天，准确的置信度表达是可信AI的关键组成部分。