"Don't Say It!": Constraints, Compliance, and Communication when Language Models Play Taboo
作者: Sara Candussio, Francesca Padovani, Daniel Scalena, Malvina Nissim
分类: cs.CL
发布日期: 2026-07-01
💡 一句话要点
探讨语言模型在Taboo游戏中的约束与沟通策略
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 语言模型 Taboo游戏 约束条件 生成策略 人机交互 沟通有效性
📋 核心要点
- 现有语言模型在处理复杂的语言约束时表现不佳，尤其是在需要遵循特定规则的任务中。
- 本文提出通过逐步干预生成过程，评估语言模型在Taboo游戏中的表现，探索其在约束下的沟通策略。
- 实验结果显示，模型在遵守游戏规则和有效沟通之间的权衡与人类玩家存在显著差异，且模型的猜测能力仍显不足。
📝 摘要（中文）
Taboo游戏要求玩家在不使用一组禁用词的情况下描述目标词，以便其他玩家猜测。该任务结合了严格的词汇约束与有效的沟通需求，为研究大型语言模型（LLMs）在推理时如何应对竞争性需求提供了良好的实验场景。本文评估了两种开放权重模型在不同生成过程干预条件下的表现，包括提示、生成时约束和内部表征操控。通过检测禁用词的违规情况、使用LLM作为评判者评估生成描述的有效性，以及分析模型在约束下的策略与人类玩家的对比，结果表明模型在遵守游戏规则和沟通有效性方面的权衡存在差异，且作为猜测者的表现明显弱于人类，表明在约束下的词汇基础仍是当前语言模型面临的挑战。
🔬 方法详解
问题定义：本文旨在解决语言模型在Taboo游戏中如何在遵循禁用词约束的同时有效描述目标词的问题。现有方法在处理此类复杂约束时的表现较弱，难以达到人类水平。
核心思路：通过对生成过程的不同层次进行干预，评估模型在约束条件下的表现，探索其生成策略与人类的相似性。这样的设计有助于揭示模型在复杂语言任务中的局限性。
技术框架：整体架构包括三个主要阶段：首先是提示阶段，设置生成条件；其次是生成时约束，实时监控生成内容；最后是内部表征操控，分析模型的生成策略。
关键创新：最重要的技术创新在于通过多层次的干预手段，系统性地评估模型在约束下的表现，与传统方法相比，提供了更深入的分析视角。
关键设计：在实验中，采用了特定的损失函数来惩罚禁用词的使用，并设计了评估指标来量化生成描述的有效性，确保模型输出的质量与人类猜测者的标准相符。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型在遵守游戏规则和有效沟通之间的权衡存在显著差异，且在作为猜测者时的表现明显弱于人类，显示出模型在复杂语言任务中的局限性。具体而言，模型的猜测准确率与人类相比存在明显差距，表明词汇基础的构建仍是一个开放性挑战。
🎯 应用场景
该研究的潜在应用领域包括教育、游戏设计和人机交互等。通过改进语言模型在复杂约束下的表现，可以提升其在实际应用中的沟通能力，促进更自然的人机交流，未来可能在智能助手和教育工具中发挥重要作用。
📄 摘要（原文）
The game of Taboo requires describing a target word without using a set of forbidden words, so that other players can guess it. This deceptively simple task combines strict lexical constraints with the need for communicatively effective descriptions, making it a compelling playground for examining how LLMs navigate competing demands at inference time. We evaluate two open-weight models under conditions that intervene at progressively deeper levels of the generative process, from prompting to generation-time constraints to internal representations manipulations. We assess their outputs through forbidden word violation detection, LLM-as-a-judge measuring the degree to which generated descriptions successfully evoke the target concept for both human and machine guessers, and examining whether the strategies models adopt under constraint align with those of human players. Our results show that compliance with the rules of the game and communicative effectiveness trade off differently across conditions, and that models remain substantially weaker than humans as guessers, suggesting that lexical grounding under constraint is an open challenge for current language models.