RLHF标注的三种范式：延伸、证据与权威

基于人类反馈的强化学习（RLHF）是当前大语言模型对齐的主流方法，但标注者判断的规范性角色问题长期被忽视。本文区分了RLHF标注的三种范式——延伸、证据与权威，分析现有研究中模型混淆的问题及失败模式，提出应按标注维度定制策略的核心建议，以实现更合理、公正、透明的AI对齐流程。

RLHF的本质困境

RLHF已成为顶尖模型（如ChatGPT、Claude）的对齐核心，但根本性问题被忽视：标注者判断在规范性上的角色（执行设计者意志、提供独立证据还是代表群体决策？）直接影响流程设计。

现有研究的隐含假设

• InstructGPT/ChatGPT：主要基于延伸模型，强调与研究者预期一致，但内容安全领域带证据模型色彩；
• Constitutional AI：混合延伸（设计者制定宪法原则）与证据模型（标注者解释应用）；
• 众包平台：假设证据模型（多数投票聚合），但严格指南推向延伸模型。

模型一：延伸

核心：标注者是设计者延伸，反映其价值观。运作逻辑：设计者明确标准→标注者培训学习→质量以一致性衡量→分歧视为错误。场景：技术文档校对、代码语法评估等。优势：标准明确易质控；风险：放大设计者偏见、忽视多元价值观。

模型二：证据

核心：标注者提供独立事实证据。运作逻辑：存在主体间可验证事实→标注者收集→聚合增强证据→分歧反映多元性。场景：内容安全规范、文化敏感性评估等。优势：捕捉社会多样性；风险：事实与价值界限模糊、样本偏差。

模型三：权威

核心：标注者代表群体拥有决策权威。运作逻辑：受影响人群参与决策→标注者民主代表→集体判断有约束力→设计者执行。场景：医疗/司法AI、公共服务本地化。优势：增强民主合法性；风险：代表性不足、权责不清、效率低。

失败模式一：延伸伪装成证据

设计者声称反映用户偏好（证据），实际严格控制标准（延伸）→系统绑定设计者价值观却不透明，忽视多元需求。

失败模式二：权威缺失的民主诉求

声称代表公众利益（权威），但标注者无代表性、流程无问责→特定群体价值观被强加，后果无人负责。

失败模式三：证据被当作延伸

标注者的社会洞察（证据）被视为执行偏差（延伸）→有价值信息被过滤，系统与现实脱节。

价值对齐的民主化

当前RLHF多由企业内部完成，权威模型为民主化对齐提供框架，但需解决代表性和问责挑战。

多元价值的承认

证据与权威模型指向：不存在单一“正确”价值观，AI需适应合理多元性。

透明度的伦理要求

用户有权知道：谁定标准、标准如何制定更新、如何申诉纠正。

维度分解示例

• 事实准确性→延伸模型：明确标准答案、严格培训质检；
• 用户体验→证据模型：收集主观感受、容忍分歧、聚合真实分布；
• 价值权衡→权威模型：明确代表性、透明流程、建立问责。

实施要点

1. 明确声明每个维度的模型及理由；
2. 培训/质检/聚合方法与模型一致；
3. 监控模型漂移，定期检查一致性；
4. 权威模型需受影响群体参与。