UNSPECIFIC: General Constraint Synthesis for Breaking Copy-and-Paste Shortcut in LLM Instruction Following

📄 arXiv: 2608.09154v1 📥 PDF

作者: Jeet Sharma, Balpreet Kaur, Jeremiah Hong, Hamed Zamani, Haw-Shiuan Chang

分类: cs.CL

发布日期: 2026-08-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出UNSPECIFIC框架以解决LLM指令遵循中的复制粘贴问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令遵循 约束合成 自然语言处理 深度学习

📋 核心要点

  1. 现有的反向翻译方法导致LLMs通过简单复制文本来满足约束，存在肤浅遵循的问题。
  2. UNSPECIFIC框架通过合成相似文章的共同约束，选择性强化肤浅满足的约束，以提高指令遵循的难度和自然性。
  3. 实验结果显示，合成的约束使得GPT-5 Mini的满足率下降至78%，同时LLM的自然性得到了显著提升。

📝 摘要（中文）

大型语言模型（LLMs）在复杂指令中越来越需要遵循长列表的约束，而从参考文档合成指令（即反向翻译）是一种常用的方法来评估和增强LLMs的能力。然而，这种方法存在一个关键漏洞：约束合成模型从参考文献中复制文本作为非常具体的约束，评估的LLM通过简单复制文本来满足约束。为了解决这些问题，我们提出了UNSPECIFIC，一个新颖的框架，通过合成两个相似参考文章的共同约束来减少复制粘贴，选择性地强化仅被肤浅满足的约束，以平衡难度和自然性，并在生成的文章及其摘要上评估满足度，从而惩罚肤浅的指令遵循。我们在新闻、故事和博客领域构建了UNSPECIFIC基准，以分析LLMs的复制粘贴行为。结果表明，我们合成的约束不仅更具挑战性（例如，GPT-5 Mini的满足率从90%降至78%），而且从人类的角度看更自然（LLM胜率差距改善了30%），同时减轻了复制粘贴现象。

🔬 方法详解

问题定义：论文要解决的问题是现有的约束合成方法导致LLMs通过简单复制文本来满足约束，造成肤浅的指令遵循。现有方法未能有效评估LLMs在复杂指令下的真实表现。

核心思路：UNSPECIFIC框架的核心思路是通过合成两个相似参考文章的共同约束，减少复制粘贴现象，并选择性地强化仅被肤浅满足的约束，以提高指令遵循的难度和自然性。

技术框架：UNSPECIFIC框架包括约束合成模块、约束强化模块和评估模块。约束合成模块从相似文章中提取共同约束，约束强化模块针对肤浅满足的约束进行选择性强化，评估模块则在生成的文章和摘要上评估满足度。

关键创新：最重要的技术创新点在于通过合成共同约束和选择性强化肤浅满足的约束，显著提高了LLMs的指令遵循能力，避免了简单复制的现象。这与现有方法的本质区别在于不再依赖于具体文本的复制。

关键设计：在设计中，选择了适当的损失函数以平衡约束的难度与自然性，同时在约束合成时考虑了文本的语义相似性，以确保生成的约束既具挑战性又符合自然语言的表达习惯。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UNSPECIFIC合成的约束使得GPT-5 Mini的满足率从90%降至78%，同时LLM的自然性得到了显著提升，胜率差距改善了30%。这些结果表明，UNSPECIFIC框架有效地减轻了复制粘贴现象，并提高了指令遵循的真实能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和教育技术等。通过提高LLMs在复杂指令下的遵循能力，UNSPECIFIC框架可以帮助开发更智能的对话系统和自动化工具，提升用户体验和交互质量。未来，该框架可能对LLMs的训练和评估标准产生深远影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly expected to follow long lists of constraints in complex instructions, and synthesizing instructions from a reference document (i.e., back-translation) is a widely used method to measure/enhance LLMs' ability to follow complex instructions. However, this method introduces a critical loophole: the constraint synthesis model copies text from the reference as a very specific constraint and the evaluated LLM trivially satisfies the constraint by copying its text in the response. To address these issues, we propose UNSPECIFIC, a novel framework that synthesizes constraints common to two similar reference articles to reduce copy-pasting, selectively hardens only trivially satisfied constraints to balance difficulty and naturalness, and evaluates satisfaction on both the generated article and its summary to penalize superficial instruction following. Consequently, we built the UNSPECIFIC benchmark on news, story, and blog domains to analyze the copy-pasting behavior of LLMs. Our results show that our synthesized constraints are not only more challenging (e.g., the satisfaction rate of GPT-5 Mini drops from 90% to 78%) and natural (LLM win-rate gap improves by 30%) from a human perspective but also mitigate the copy-pasting. We also find that a large portion of constraints are satisfied superficially (i.e., not satisfied in the core narrative of the article). The code and datasets are released at https://github.com/JeetDSharma/UNSPECIFIC.