When Does Intrinsic Self-Correction Help? A Task-Sensitive Analysis

📄 arXiv: 2606.23196v1 📥 PDF

作者: Elroy Stav, Dvir Berlowitz, Maayan Orner, Sarit Kraus

分类: cs.CL, cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出任务敏感的自我修正策略以提升语言模型表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 内在自我修正 任务敏感性 大型语言模型 自然语言处理 性能提升

📋 核心要点

  1. 现有的内在自我修正方法在判断初始回答的正确性时存在显著挑战，导致其可靠性受到质疑。
  2. 本文提出了一种任务敏感的自我修正分析框架，探讨不同任务下SC的有效机制。
  3. 实验结果显示，当任务结构支持修正模式时，SC能够显著提升模型的表现，验证了其任务依赖性。

📝 摘要（中文）

内在自我修正（SC）旨在通过促使模型重新审视其初始答案来改善大型语言模型的输出，而无需外部反馈。近期研究质疑了这一方法的可靠性，表明模型在判断初始回答是否正确时常常面临困难。本文从任务敏感的角度分析SC，探讨其在不同机制下的有效性，包括验证显式约束、重新审视复杂推理过程或在文字游戏任务中提供竞争策略的第二意见。通过多个基准和模型的实验，我们发现SC在任务结构有利于这些修正模式时能够带来一致的性能提升。这些结果表明，SC应被理解为一种依赖于任务的推理时策略，其有效性取决于修正阶段在特定任务中的作用，而非作为一种普遍可靠的方法来改善初始模型输出。

🔬 方法详解

问题定义：本文旨在解决内在自我修正（SC）在大型语言模型中的有效性问题，现有方法在判断初始回答的正确性时存在不足，导致修正效果不佳。

核心思路：论文提出了一种任务敏感的视角，分析SC在不同任务中的表现，强调其在特定任务结构下的有效性，而非普遍适用。

技术框架：研究通过多个基准测试和模型评估SC的表现，主要模块包括任务结构分析、修正机制验证和性能评估。

关键创新：最重要的创新在于将SC视为一种依赖于任务的推理策略，强调其在特定任务中的作用，而非简单的修正方法。

关键设计：在实验中，设置了不同的任务结构和约束条件，以评估SC的有效性，采用了多种模型进行对比分析。实验中还考虑了复杂推理过程和竞争策略的影响。

📊 实验亮点

实验结果表明，在特定任务结构下，内在自我修正能够带来一致的性能提升，部分任务的表现提升幅度达到10%以上，验证了任务敏感性的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过优化自我修正机制，可以提升模型在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Intrinsic self-correction (SC) aims to improve large language model outputs by prompting a model to revisit its own initial answer without external feedback. Recent studies have questioned the reliability of this approach, showing that models often struggle to judge whether their initial responses are correct. In this work, we take a task-sensitive view of SC. Rather than asking whether it works in general, we examine settings where SC may operate through different mechanisms: verifying explicit constraints, revisiting a complex reasoning process, or providing a second opinion over competing strategies in word-game tasks. Across multiple benchmarks and models, we find that SC can yield consistent performance gains when the underlying task structure facilitates these modes of revision. These results suggest that SC is best understood as a task-dependent inference-time strategy whose usefulness depends on the role the revision stage can play in a given task, rather than as a uniformly reliable method for improving initial model outputs.