Pigeonholing: Bad prompts hurt models to collapse and make mistakes

📄 arXiv: 2606.24267v1 📥 PDF

作者: Hyunji Nam, Keertana Chidambaram, Dorottya Demszky, Natasha Jaques

分类: cs.CL, cs.AI

发布日期: 2026-06-23

💡 一句话要点

提出新方法缓解模型在不良上下文中的性能下降问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 上下文学习 模式崩溃 合成错误 强化学习 性能提升 错误处理

📋 核心要点

  1. 核心问题：不良上下文会导致大型语言模型性能下降和模式崩溃，影响模型的可靠性和准确性。
  2. 方法要点：论文提出了一种名为RLVR的新方法，通过引入合成错误来改善模型在不良上下文中的表现。
  3. 实验或效果：实验表明，鸽笼效应导致性能下降38-40%，而RLVR方法在不良上下文下提升了模型性能43-60%。

📝 摘要（中文）

尽管上下文学习在大型语言模型中通常有效，但不良上下文会导致性能下降和模式崩溃，论文称之为“鸽笼效应”。这种无意的不良上下文可能出现在用户要求模型证明错误的数学定理或未能纠正模型的错误代码时。研究表明，鸽笼效应在多种情况下表现出性能下降，尤其是在用户建议解决方案或对话上下文包含助手之前的错误响应时。实验结果显示，鸽笼效应随着对话轮次的增加而加重，提出的RLVR方法在不良上下文下能提高模型性能43-60%。

🔬 方法详解

问题定义：论文要解决的问题是大型语言模型在不良上下文中的性能下降和模式崩溃现象，现有方法未能有效应对这种情况，导致模型在面对错误信息时重复错误答案。

核心思路：论文的核心解决思路是引入合成错误，通过强化学习方法（RLVR）来改善模型在不良上下文中的表现，旨在减少模型对错误信息的依赖。

技术框架：整体架构包括数据预处理、合成错误生成、模型训练和评估四个主要模块。首先生成不良上下文，然后在此基础上进行模型训练，最后评估模型在不同上下文下的表现。

关键创新：最重要的技术创新点在于引入合成错误的概念，使模型在训练过程中能够学习如何处理不良上下文，从而减少鸽笼效应的影响。这与传统方法的根本区别在于，传统方法通常未考虑上下文的质量。

关键设计：关键设计包括合成错误的生成策略、损失函数的调整以及模型架构的优化，以确保模型能够有效学习并适应不良上下文。

📊 实验亮点

实验结果显示，鸽笼效应导致模型性能下降38-40%，而通过RLVR方法在不良上下文下，模型性能提升了43-60%。这一显著提升表明该方法在应对不良上下文方面的有效性，具有重要的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括教育、编程辅助和对话系统等，能够提高模型在处理错误信息时的鲁棒性和准确性。未来，随着模型在实际应用中的广泛使用，改善不良上下文的处理能力将显著提升用户体验和信任度。

📄 摘要（原文）

While in-context learning is generally shown to be effective in Large Language Models (LLMs), bad contexts can cause performance degradation and mode collapse, a phenomenon we call "pigeonholing." Unintentionally bad contexts can happen without malicious jailbreaking intents: For example, a user asks the model to justify an incorrect math theorem or fails to correct the model's buggy code. Specifically, we investigate ``pigeonholing" in two scenarios: (1) when the user suggests a solution, and (2) when the conversation context includes the assistant's previous (incorrect) responses. Our experiments across 10 verifiable and open-ended tasks with 10 different models show that pigeonholing manifests in several ways: (1) repeating the incorrect answers from context (leading to 38-40% performance drop), (2) converging on a narrow set of answers in coding and text generation without exploring alternatives, and (3) flipping stance on controversial topics to align with the user or the assistant's previous claims. We find that pigeonholing worsens almost monotonically with the number of conversation turns (performance drops by additional 14+% as repeated mistakes increase from 1 to 5), and pigeonholing-induced mode collapse can happen even when the provided example is correct. As a step toward mitigation, we propose RLVR with synthetic errors which improves models by 43-60% under bad contexts compared to vanilla RLVR baselines.