PragReST: Self-Reinforcing Counterfactual Reasoning for Pragmatic Language Understanding

📄 arXiv: 2606.18624v1 📥 PDF

作者: Jihyung Park, Minchao Huang, Leqi Liu, Elias Stengel-Eskin

分类: cs.CL

发布日期: 2026-06-17

备注: First two authors contributed equally. Code and models: https://github.com/jihyung803/PragReST

💡 一句话要点

提出PragReST以解决大型语言模型的实用推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实用推理 反事实推理 自监督学习 大型语言模型 自然语言处理

📋 核心要点

  1. 现有的大型语言模型在实用推理方面表现不佳，常常无法有效进行隐含意义的推断。
  2. 本文提出的PragReST框架通过自监督学习生成反事实推理数据，增强模型的实用推理能力。
  3. 实验结果显示，PragReST在多个基准测试中超越了现有模型，显著提高了推理准确性。

📝 摘要（中文）

自然语言理解通常依赖于隐含而非显式的意义，这需要实用推理。尽管大型语言模型在数学和逻辑推理方面表现出色，但在进行实用推理时仍然面临挑战，常常选择字面解释。为改善这一点，本文提出了PragReST，一个自监督框架，构建实用问答数据，生成反事实推理轨迹，并通过监督微调和强化学习训练模型，使其内化这些轨迹，无需人工标注的数据或从更强教师模型的蒸馏。在四个实用基准测试中，PragReST在准确性上显著提升，尤其在Qwen3-8B和Qwen3-14B模型上分别提高了5.37%和5.50%。

🔬 方法详解

问题定义：本文解决的问题是大型语言模型在实用推理中的不足，尤其是在处理隐含意义时常常选择字面解释，导致推理能力受限。

核心思路：PragReST的核心思路是通过自监督学习构建反事实推理轨迹，使模型能够在没有人工标注数据的情况下进行有效的实用推理。

技术框架：该框架主要包括三个模块：首先，生成实用问答数据；其次，构建反事实推理轨迹；最后，通过监督微调和强化学习训练模型。

关键创新：PragReST的关键创新在于其自监督生成反事实推理数据的能力，这与传统方法依赖人工标注或教师模型的方式有本质区别。

关键设计：在设计中，PragReST采用了特定的损失函数来优化反事实推理的效果，并通过强化学习策略来增强模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PragReST在四个实用基准测试中均表现优异，特别是在Qwen3-8B和Qwen3-14B模型上，准确性分别提高了5.37%和5.50%。这些结果表明反事实推理在提升模型性能方面的关键作用。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、自动问答系统和教育技术等。通过提升模型的实用推理能力，PragReST可以在更复杂的语言理解任务中提供更准确的结果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Natural language understanding often depends on meanings that are implied rather than explicitly stated, requiring pragmatic reasoning. Despite strong performance on math and logical reasoning, large language models (LLMs) still struggle with making pragmatic inferences, often choosing literal interpretations. To improve LLM pragmatic reasoning, we introduce PragReST, a self-supervised framework that constructs pragmatic QA data, generates counterfactual reasoning traces, and trains models to internalize them through supervised fine-tuning and reinforcement learning, without human-labeled training data or distillation from a stronger teacher. Across four pragmatic benchmarks (PragMega, Ludwig, MetoQA, and AltPrag), PragReST improves over backbone models, task-specific pragmatic tuning baselines, and non-counterfactual variants of the same pipeline. On accuracy-based benchmarks, PragReST improves over the instruct backbone by 5.37 and 5.50% (absolute) for Qwen3-8B and Qwen3-14B, respectively. Our error analysis and ablations underscore the importance of counterfactual reasoning: PragReST primarily reduces errors caused by failures to contrast observed utterances with plausible alternatives, and removing counterfactual reasoning substantially reduces performance. Moreover, our training preserves out-of-domain performance on general-knowledge and mathematical reasoning benchmarks.