个性化奖励模型评估新基准：当前SOTA模型准确率仅75.94%

本文介绍首个针对奖励模型个性化能力评估的基准Personalized RewardBench，揭示当前最先进（SOTA）的奖励模型在理解个体用户偏好方面存在显著不足，其准确率仅为75.94%。该基准建立了与下游任务（如Best-of-N采样、PPO优化）性能更强的相关性，为AI对齐研究中个性化方向提供了关键评估工具和新的研究方向。

传统LLM对齐方法关注通用质量指标（正确性、相关性等），但人类价值观存在复杂个体差异。例如旅行建议对背包客和商务人士需求不同，编程教学对初学者和资深开发者解释深度需求各异。现有奖励模型评估基准缺乏对个性化偏好的测试，无法有效捕捉用户独特需求。

研究团队基于LaMP-QA数据集，精选艺术娱乐、生活方式、社会文化三个高度依赖个性化的领域构建基准。采用对比设计：被选择回答严格遵循用户个性化评分标准，被拒绝回答通用质量高但违反个性化标准。通过人类评估验证（事实性、相关性、有用性、个性化对齐四维度），确保测试对有效性。

测试结果显示，即使是表现最好的SOTA奖励模型在该基准上准确率仅75.94%，存在近四分之一错误率。此外，该基准得分与下游任务（Best-of-N采样、PPO优化）表现相关性显著高于现有个性化基准，证明其预测实际应用性能的有效性。

1. 用户画像构建：用Contriever模型从历史交互提取10个最相关项目；2. 偏好对比设计：被拒绝回答由高质量生成器产生但忽略个性化约束；3. 人类验证：盲评方式评估四维度，确保测试对客观性。

产品启示：AI产品需重视个性化需求，可增加个性化训练样本或优化训练方法；学术方向：探索更高效个性化奖励模型架构、整合个性化到RLHF流程等；局限性：目前覆盖问答场景，冷启动场景评估仍具挑战，需关注隐私与公平性问题。

Personalized RewardBench是AI对齐领域的重要里程碑，揭示了当前技术在个性化理解上的不足。75.94%的准确率提醒我们，个性化理解仍是未解决的挑战。期待未来AI系统能真正理解个体用户，而非仅理解通用人类需求。