Think Less, Locally: Local Preference Learning for Reasoning Compression

📄 arXiv: 2611.04814v1 📥 PDF

作者: Muyao Yuan, Liyan Xu, Weizhan Zhang, Muyan Jiao, Jiangnan Li, Jinchao Zhang, Jie Zhou

分类: cs.AI, cs.CL

发布日期: 2026-11-03

🔗 代码/项目: GITHUB

💡 一句话要点

提出LoCo以解决推理模型的过度思考问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理压缩 局部偏好学习 模型优化 数学推理 代码生成 效率提升 深度学习

📋 核心要点

  1. 现有推理模型在获取足够信息后仍继续推理，导致推理成本高，效率低下。
  2. LoCo通过局部偏好学习，识别过度思考状态并生成更短的推理结果，从而优化推理过程。
  3. 实验表明，LoCo在数学和代码生成任务上显著减少了推理长度，同时保持或提高了模型准确性。

📝 摘要（中文）

大型推理模型在复杂任务上表现出色，但其长链推理常导致在获取足够信息后仍继续推理，从而增加推理成本。现有的推理压缩方法主要集中在推理轨迹上，较少关注当前状态下是否需要进一步推理的局部决策。本文提出了LoCo，一种局部偏好学习方法，通过检测模型自身轨迹中的候选过度思考状态，冻结相应的推理前缀，从同一状态生成更短的验证后续，并利用DPO训练得到状态条件偏好对。LoCo在五个数学和三个代码生成基准上进行评估，数学任务的完成长度减少了41.7%-45.4%，代码任务减少了23.4%-36.3%，同时保持或提高了准确性，展示了局部偏好学习在推理压缩中的跨领域通用性。

🔬 方法详解

问题定义：本文旨在解决大型推理模型在获取足够信息后仍继续推理的问题，现有方法主要关注推理轨迹，忽视了当前状态下的局部决策，导致推理效率低下。

核心思路：LoCo的核心思想是通过局部偏好学习来检测模型的过度思考状态，冻结相应的推理前缀，并从这些状态生成更短的推理结果，从而教会模型何时继续推理，何时结束推理。

技术框架：LoCo的整体架构包括状态检测、推理前缀冻结、短推理生成和偏好对训练四个主要模块。首先，模型分析自身的推理轨迹，识别出过度思考的状态；然后，冻结这些状态的推理前缀；接着，从冻结的状态生成更短的推理结果；最后，利用DPO训练模型的偏好对。

关键创新：LoCo的创新在于其局部偏好学习机制，强调在推理过程中根据当前状态做出决策，而不仅仅是鼓励生成更短的推理轨迹。这一方法与现有的推理压缩技术有本质区别。

关键设计：在LoCo中，关键设计包括状态条件偏好对的生成和DPO训练过程，确保模型能够有效学习何时结束推理。此外，训练数据完全基于自生成的数学轨迹，确保了数据的多样性和有效性。

🖼️ 关键图片

fig_0

📊 实验亮点

LoCo在数学任务上完成长度减少41.7%-45.4%，在代码生成任务上减少23.4%-36.3%，同时保持或提高了准确性，并在所有代码基准中实现了最佳AUC。这些结果表明LoCo在准确性和效率之间取得了良好的平衡。

🎯 应用场景

LoCo的研究成果在多个领域具有广泛的应用潜力，尤其是在需要高效推理的人工智能系统中，如自动化推理、智能助手和代码生成等。通过优化推理过程，LoCo能够显著提高系统的响应速度和准确性，降低计算成本，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large reasoning models achieve strong performance on challenging tasks, but their long chain-of-thought often incurs substantial inference costs by continuing to deliberate after sufficient information has been obtained. Existing reasoning compression methods primarily operate on reasoning trajectories, paying less attention to the local decision of whether further reasoning is necessary given the current state. We propose LoCo, a local preference learning method for reasoning compression. LoCo detects candidate overthinking states from the model's own traces, freezes the corresponding reasoning prefixes, regenerates shorter verified continuations from the same states, and trains on the resulting state-conditioned preference pairs with DPO. This formulation teaches the model when to continue reasoning and when to conclude, rather than simply encouraging shorter trajectories overall. We construct training data entirely from self-generated mathematical traces and evaluate LoCo on five mathematical and three code generation benchmarks. LoCo reduces completion length by 41.7\%--45.4\% on mathematics and 23.4\%--36.3\% on code, while maintaining or improving accuracy and achieving the best AUC across all code benchmarks. LoCo consistently improves the accuracy-efficiency trade-off on mathematics and transfers effectively to code generation despite math-only training, demonstrating the cross-domain generality of local preference learning for reasoning compression. The code and model will be publicly released at https://github.com/MuyaoYuan/LoCo.