大语言模型的电影品味研究：八款主流LLM偏好对比分析

原作者：Jonghyun Jee 与 Aaron Shaw 来源：GitHub项目llm-film-preference（2026年6月11日发布） 相关论文：Jee, J., & Shaw, A. (2026). Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation. AIES 2026.

核心内容： 本研究通过成对强制选择实验，对比四大模型家族（Anthropic、OpenAI、阿里巴巴、Mistral）共八款主流LLM的电影偏好，发现所有模型均存在显著"评论界青睐倾向"（偏好专业影评认可影片而非大众商业片），同时不同模型家族间存在微妙差异。研究对AI内容推荐与伦理具有重要启示。

大语言模型（LLM）正深刻改变内容推荐、文化分析等领域，但模型训练中吸收的"品味"来源及是否存在特定群体审美偏好，是理解AI文化偏向的关键问题。 Jonghyun Jee和Aaron Shaw开展本研究，旨在通过量化方法揭示LLM的电影偏好差异，探索其文化偏向特征。

1. 实验设计：筛选200部代表性影片，分为A组（商业+评论认可）、B组（仅评论认可）、C组（纯商业片）。
2. 核心方法：成对强制选择比较（最多4000次），结合Bradley-Terry模型估计电影偏好强度，消除评分标准差异。
3. 参与模型：四大家族共8款模型（Anthropic Claude系列、OpenAI GPT-5.4系列、阿里巴巴Qwen2.5系列、Mistral Small/Large），均在temperature=0下运行确保可重复。

• 共性：所有8款模型均显著偏好评论界认可影片，即使控制年代、地区等因素，"评论界认可"变量系数仍为正且显著。
• 差异：OpenAI模型内部一致性最高；阿里巴巴Qwen系列对特定地区电影有额外偏好；Mistral轻量级与主力级偏好差异明显，暗示模型规模影响文化品味。差异或源于训练数据语料比例不同。

• 应用开发者：内容推荐产品需注意LLM的"精英主义"品味偏向，直接使用模型输出可能与普通用户偏好偏差。
• AI伦理：揭示训练数据塑造模型文化价值观，LLM非中立工具，携带着专业影评人群体的审美判断，该偏向或延伸至文学、艺术等领域。

• 可复现性：提供3级复现路径（Level1：预计算分析；Level2：原始数据重聚合；Level3：从头运行实验需API密钥），代码用Python/R实现，依赖清晰。
• 未来方向：探索其他文化领域（音乐、文学）是否存在类似偏向；研究如何通过微调/提示工程缓解偏向；思考AI系统中"精英品味"与"大众偏好"的平衡。