动态对齐：通过纵向研究重新思考人机价值对齐评估

本文核心论点：当前人机对齐评估方法假设用户偏好静态，依赖即时反馈（如RLHF/DPO），但现实中用户偏好会随时间和情境变化。研究提出纵向、情境化的对齐测量框架，并通过BITE浏览器系统验证，发现用户即时偏好与后续反思存在显著差异，揭示传统方法的局限性。

被忽视的时间维度

当前LLM对齐研究（如RLHF、DPO）假设用户偏好静态，依赖交互结束时的即时反馈。但现实决策具时间延展性：AI辅助决策的后果会让用户后续重新评估。

即时反馈的不足

1. 决策时间延展性：AI输出的实际后果（如邮件回复、旅行体验）影响最终评价，现有数据集忽略此维度。
2. 认知局限：即时判断受认知偏差（可得性启发、锚定效应）影响，深思熟虑后的评价更理性。

三管齐下框架

1. 情境内偏好捕获：收集即时反馈作为追踪起点。
2. 情境触发后续反思：在关键决策节点（如收到邮件回复、完成购物）触发重新评价。
3. 隐私保护行为轨迹：采集脱敏行为数据解释偏好变化，用户主导同意机制。

BITE系统实现

• 关键交互检测：识别有实质影响的LLM交互（决策、规划等）。
• 渐进式同意：分阶段请求权限，用户可随时管理数据。
• 情境化反思触发：在相关时刻（返回查看输出、新操作关联旧决策）提示反思。

即时与后续偏好差异

8名参与者的两周研究显示：

• 准确性：部分即时标记为“准确”的回答，后续被评为“部分准确”或“误导性准确”（遗漏关键信息）。
• 相关性：许多初始认为“相关有用”的输出，实际应用后发现未解决问题。

偏好变化模式

1. 满意→失望：表面好但实际有局限；
2. 怀疑→认可：验证后发现有效；
3. 情境依赖转变：同一输出在不同情境评价不同。

对现有数据集的启示

基于即时反馈的数据集可能存在系统性偏差，导致模型表现高估、对齐程度误判。

意义

• AI安全：更早发现长期问题（奖励黑客、价值观漂移）；
• 用户体验：产品需提供重新评价机制，避免固化用户画像。

局限

1. 样本规模小（8人）；
2. 时间跨度短（两周）；
3. 自选择偏差（参与者技术接受度高）；
4. 场景限制（仅浏览器环境）。

未来探索方向

1. 大规模纵向数据集：构建跨数月/年、数千用户的数据集；
2. 动态对齐训练：开发利用纵向信号的算法（在线学习、持续适应）；
3. 跨文化研究：探索不同文化下的偏好变化；
4. 自动化检测：自动识别偏好变化无需显式询问。

结语

人机对齐需拥抱时间维度，静态偏好信号无法反映真实需求。纵向视角是构建真正对齐AI系统的关键，尤其在AI介入重要决策时更迫切。