Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
作者: David Eric Austin, Kaheer Suleman, Jackie Chi Kit Cheung
分类: cs.CL, cs.AI
发布日期: 2026-08-17
备注: 10 pages, 5 figures in main body
💡 一句话要点
提出语义赌博者模型以解决LLM探索与利用的偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语义赌博者 大型语言模型 探索与利用 决策系统 奖励结构
📋 核心要点
- 现有方法在LLM的探索与利用平衡上存在不足，未能充分考虑语义信息的影响。
- 本文提出语义赌博者模型，通过引入文本标签来研究语义先验对LLM探索行为的影响。
- 实验结果表明，语义信息丰富的标签能提高性能，但当标签与奖励结构不一致时，性能会显著下降。
📝 摘要（中文）
大型语言模型（LLMs）在需要复杂环境探索的决策代理中越来越多地被应用。然而，现有研究对LLMs如何平衡探索与利用提出了质疑。本文引入了语义赌博者模型，扩展了多臂赌博机的设置，明确考虑了分配给动作的文本标签，研究语义先验如何影响LLM的探索行为。研究发现，语义信息丰富的动作标签会减少探索，倾向于利用，当与奖励结构一致时提高性能，而当不一致时则严重降低性能。此外，负奖励比等效的正奖励触发更多的探索，这与预训练数据中常见的奖励约定引发的预期规模偏差一致。总体而言，使用语言定义环境和奖励引入了不可避免的偏差，这对LLM代理在现实决策中的可靠性和稳健性有重要影响。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在决策过程中探索与利用的平衡问题。现有方法未能充分考虑语义信息对决策的影响，导致探索行为偏差。
核心思路：通过引入语义赌博者模型，明确考虑动作的文本标签，研究语义先验如何影响LLM的探索行为。这种设计旨在揭示语言与奖励之间的关联性。
技术框架：整体架构包括语义标签的定义、探索与利用的决策机制，以及奖励结构的设计。主要模块包括语义信息提取、决策制定和性能评估。
关键创新：最重要的技术创新在于将语义信息纳入多臂赌博机的框架，形成语义赌博者模型。这与传统方法的本质区别在于考虑了语言的语义关联性。
关键设计：关键参数设置包括语义标签的选择、奖励函数的设计，以及探索与利用的平衡策略。这些设计确保了模型在不同环境下的适应性和性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，语义信息丰富的动作标签在与奖励结构一致时，性能提升显著，探索行为减少。具体而言，负奖励触发的探索行为比正奖励高出显著比例，验证了预期规模偏差的存在。这些发现为LLM在实际应用中的表现提供了重要的实证支持。
🎯 应用场景
该研究的潜在应用领域包括智能决策系统、自动化客服、推荐系统等。通过更好地理解LLM的探索与利用行为，可以提升这些系统在复杂环境中的决策能力，增强用户体验，并推动智能代理的实际应用。未来，随着技术的进步，该模型可能会在更多实际场景中得到应用，提升决策的可靠性和有效性。
📄 摘要（原文）
Large language models (LLMs) are increasingly deployed as decision-making agents in settings that require sophisticated environmental exploration. However, existing work has raised questions about how LLMs actually balance exploration and exploitation. Unlike classical agents, LLM agents engage with tasks through natural language, exposing them to semantic information with no formal counterpart in the task structure. We introduce the semantic bandit, an extension of the multi-armed bandit setting that explicitly considers the textual labels assigned to actions, and use it to study how semantic priors --- inductive biases arising from associations between language and expected reward learned during pre-training, shape LLM exploration behaviour. We find that semantically informative action labels reduce exploration in favour of exploitation, improving performance when aligned with the reward structure and severely degrading it when misaligned. We further find that negative rewards trigger substantially more exploration than equivalent positive rewards, consistent with an expected-scale bias induced by reward conventions common in pre-training data. Overall, we argue that the use of language to define the environment and rewards introduces unavoidable biases derived from the fact that the model is trained on word co-occurence, with implications for the reliability and robustness of LLM agents in real-world decision-making settings.