Critical Acclaim Orientation in Large Language Models: Evidence from Film Preference Elicitation
作者: Jonghyun Jee, Aaron Shaw
分类: cs.AI, cs.CY
发布日期: 2026-08-07
备注: 12 pages, 2 figures, accepted to AIES 2026
💡 一句话要点
探讨大型语言模型的电影评价偏向性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 电影评价 批评赞誉 文化偏见 推荐系统
📋 核心要点
- 现有研究未能明确大型语言模型是否系统性地再现文化评价层级，尤其是在电影评价方面存在争议。
- 本文通过对四个家族的八个大型语言模型进行电影评价的对比分析，探讨其对批评赞誉和商业成功的偏好。
- 实验结果表明，所有模型均表现出对批评赞誉电影的偏好，且这种偏好随着模型规模的增大而增强。
📝 摘要（中文）
大型语言模型（LLMs）在训练过程中使用了包含人类对电影、书籍和音乐等的评价的语料库。然而，LLMs是否系统性地再现评估层级尚不明确。本文通过对来自四个家族（Anthropic、OpenAI、Alibaba和Mistral）的八个模型进行电影评价研究，探讨了这一问题。研究使用了一个包含200部电影的基准数据集，分为获得批评赞誉、商业成功和双重合法性（批评赞誉+商业成功）的电影。通过对每个模型进行20,000次成对强制选择比较的分析，发现所有模型均表现出一致的批评赞誉倾向：批评认可但商业不成功的电影被优先选择，而商业成功但未获认可的电影则被排除。随着模型规模的增加，这种模式更加明显。此外，嵌套的OLS回归分析显示，评估取向、公众可见性和流行接收显著影响偏好。调整公众可见性后，模型对双重合法性电影的偏好被逆转，而考虑流行接收则减轻了商业成功电影的劣势。最后，评估和推荐导向的提示框架产生了不同的排名，表明批评赞誉倾向可能在实际的LLM部署中间接体现。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型在电影评价中是否存在批评赞誉的偏向性，现有研究对这一问题的理解尚不充分，尤其在文化偏见方面存在不同的预期。
核心思路：通过对200部电影的评估进行系统分析，比较批评赞誉、商业成功和双重合法性电影的选择偏好，以揭示模型的评估倾向。
技术框架：研究使用了20,000次成对强制选择比较，结合Bradley-Terry估计方法，分析了不同模型在电影评价中的表现，并通过OLS回归分析探讨影响偏好的因素。
关键创新：本研究首次系统性地揭示了大型语言模型在电影评价中的批评赞誉倾向，且发现模型规模与偏好之间的正相关关系，填补了相关领域的研究空白。
关键设计：在实验中，采用了不同的提示框架来引导模型的评估，使用了嵌套OLS回归分析来控制公众可见性和流行接收的影响，确保结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有模型均表现出对批评赞誉电影的偏好，且随着模型规模的增加，这种偏好更加明显。调整公众可见性后，模型对双重合法性电影的偏好被逆转，表明评估取向对模型的影响显著。
🎯 应用场景
该研究的结果对大型语言模型在文化产品推荐、电影评价系统和内容生成等领域具有重要的应用价值。理解模型的评估偏向性能够帮助开发更公正和多样化的推荐系统，促进文化产品的公平展示与传播。
📄 摘要（原文）
Large language models (LLMs) are trained on corpora that contain expressions of human judgment about films, books, music, and more. Yet whether LLMs systematically reproduce evaluative hierarchies remains unclear. Prior research on cultural bias in LLMs suggests competing expectations: models may mirror the popularity signals of internet texts, or may reproduce forms of prestige embedded in critical discourse. We probe this question through a study of film evaluations with eight models from four families (Anthropic, OpenAI, Alibaba, and Mistral), using a 200-film benchmark partitioned into critically acclaimed, commercially successful, and dual-legitimacy (critical acclaim + commercial success) films. Across 20,000 pairwise forced-choice comparisons per model analyzed with Bradley--Terry estimation, we observe a consistent critical acclaim orientation with all models: critically acclaimed yet commercially obscure films are selected over commercially successful yet critically unrecognized ones. This pattern grows with model scale within each family. In addition, nested OLS regression analyses show that evaluative orientation, public visibility, and popular reception distinctly help explain preferences. Adjusting for public visibility reverses the models' preference for dual-legitimacy films over critical acclaim-only films, while additionally accounting for popular reception attenuates much of the disadvantage of films with commercial success only. Finally, evaluative and recommendation-oriented prompt framings produce divergent rankings, suggesting that critical acclaim orientation may manifest indirectly in real-world LLM deployments.