LLMs Contain Multitudes: How Deployment Context Reshapes Model-Level Preferences and Values
作者: Filip Trhlik, Aoife O'Flynn, Angela Yu, Arduin Findeis, Paula Buttery
分类: cs.CL
发布日期: 2026-06-11
备注: 68 pages, 54 figures, 54 tables
💡 一句话要点
提出部署上下文影响模型偏好的研究方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 上下文影响 模型偏好 效用判断 任务适应性 安全性保证
📋 核心要点
- 现有研究未能充分探讨大型语言模型在不同任务上下文下的偏好和价值变化，导致对模型行为的理解不够全面。
- 本文通过控制不同的高层任务上下文，直接测试模型在具体价值相关选择中的表现，揭示了上下文对模型偏好的影响。
- 实验结果表明，部署上下文引起的变化远大于提示改写，且模型的偏好在不同上下文中系统性地发生变化，影响了模型的安全性保证。
📝 摘要（中文）
大型语言模型（LLMs）在近期评估中被描述为具有稳定的模型级偏好和价值体系。然而，现有的稳健性检查仅限于偶然的提示扰动，如语法变化和选项重排序。本文直接测试了在不同任务上下文中，这些测量属性是否依然有效。通过对两个已建立的成对范式进行实验，结果显示部署上下文的变化对模型的偏好和效用判断产生了显著影响，超出了提示改写和温度控制的范围。研究表明，模型的偏好和效用应被理解为上下文条件下的测量，而非固定的模型属性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在不同任务上下文中偏好和价值的变化问题。现有方法主要关注提示扰动，未能考虑任务上下文的影响。
核心思路：通过在不同的高层任务上下文中进行实验，研究模型在具体价值相关选择中的表现，揭示上下文对模型偏好的影响。
技术框架：整体架构包括两个主要实验范式：国家偏好排名和效用判断。每个实验中，模型在不同的上下文框架下进行决策，收集数据进行分析。
关键创新：最重要的创新在于首次系统性地考察了部署上下文对模型偏好的影响，发现上下文变化引起的偏好变化远大于提示改写的影响。
关键设计：实验中设置了多种上下文框架，如撰写Reddit帖子或新闻文章，并对模型的输出进行统计分析，确保结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在15个国家的偏好排名中，部署上下文引起了显著的排名变化，且模型的偏见在不同上下文中系统性地转变。在50个结果的效用判断中，细粒度排名变化显著，结果的交换率中位数变化达到2.47倍。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、推荐系统和人机交互等。通过理解模型在不同上下文中的表现，可以提高模型的适应性和安全性，确保其在实际应用中的可靠性和有效性。
📄 摘要（原文）
Large language models (LLMs) are increasingly characterised in recent evaluation work as having stable, model-level preference and value systems. However, accompanying robustness checks are limited to incidental prompt perturbations such as syntax variation and option reordering. This leaves open whether the measured properties survive when the surrounding task context changes, as it does in most real deployments. We test this directly across two established pairwise paradigms: ranking country preferences and eliciting utility judgements. In both, we make the deployment context -- the high-level task the model is performing while making concrete value-dependent choices -- our controlled variable, varied across framings such as writing a Reddit post or a news article. Across five LLMs and over 1.2M pairwise decisions, deployment context produces variation far larger than prompt paraphrasing and temperature controls. In country preference rankings over 15 countries, context induces widespread, statistically significant rank shifts; the aggregate Global North favouritism reported in prior work is itself context-dependent, with each model's bias shifting systematically across contexts. In utility elicitation over 50 outcomes, broad cross-category ordering is preserved, but fine-grained rankings within domains vary substantially, and cardinal exchange rates between outcomes (e.g. how many lives in one region equal one in another) shift by a factor of 2.47 at the median. Reported model-level preferences and utilities are therefore better understood as context-conditioned measurements than fixed model-level properties: safety guarantees obtained under one framing provide limited assurance in another.