Incentivizing Self-Learning in Large Language Models via Reinforcement Learning

📄 arXiv: 2610.39671v1 📥 PDF

作者: Lingkai Kong, Yuzhe Gu, Haiteng Zhao, Zijian Wu, Youqing Fang, Zhouqi Hua, Yanan Sun, Kai Chen, Wenwei Zhang

分类: cs.CL

发布日期: 2026-10-29

💡 一句话要点

通过强化学习激励大型语言模型的自学习能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

📋 核心要点

  1. 现有方法在不熟悉领域的问题解决中，缺乏有效的知识获取与推理的结合。
  2. 论文提出了一种自学习机制，通过强化学习激励模型自主检索和应用长篇参考材料中的知识。
  3. 实验结果显示，所提方法显著提高了模型在数学问题解决上的表现，证明准确率提升至79.5%。

📝 摘要（中文）

大型语言模型（LLMs）依赖参数知识和检索增强生成（RAG）来解决知识密集型任务。然而，在不熟悉领域的问题解决中，需要紧密结合知识获取和推理，超越简单的事实检索和聚合或仅从预组装上下文学习。我们研究自学习——自主检索、学习和应用长篇参考材料中的知识。为此，我们设计了基于教材的数学问题解决任务，LLMs必须导航教材内容，学习和应用相关原理，并为练习构建证明，同时参考解决方案被保留。我们引入了BookNavigator界面，以支持这一人类启发的学习过程，并通过细粒度奖励的强化学习（RL）激励自学习。实验表明，我们的方法在领域内和领域外的教材和主题上均提高了性能，将Intern-S2-Preview-35B的整体证明准确率从51.5%提升至79.5%，并超越了RL训练的无教材和固定检索基线。这些提升扩展到涉及不同任务类型的复杂长上下文基准，在BrowseComp-Plus和CL-bench上分别提高了1.7和2.3个百分点。这些发现表明，RL可以促进领域无关的自学习策略，强调从长篇语料库自学习的潜力，以增强在复杂长上下文任务上的更广泛问题解决能力。

🔬 方法详解

问题定义：论文要解决的问题是如何使大型语言模型在不熟悉领域中有效地进行知识获取和推理。现有方法主要依赖于事实检索，无法满足复杂问题解决的需求。

核心思路：论文的核心思路是通过引入自学习机制，使模型能够自主检索和学习长篇教材中的知识，并应用于问题解决。通过强化学习的方式，模型可以在学习过程中获得细粒度的奖励，从而激励其自我学习。

技术框架：整体架构包括BookNavigator界面，模型通过该界面导航教材内容，学习相关知识并进行问题解决。主要模块包括知识检索、学习应用和强化学习奖励机制。

关键创新：最重要的技术创新点在于通过强化学习激励自学习过程，使得模型能够在没有预先提供解决方案的情况下，独立进行知识获取和应用。这与传统的依赖于固定检索的模型有本质区别。

关键设计：在设计中，采用了细粒度的奖励机制，以鼓励模型在学习过程中的每一步决策。同时，模型的网络结构经过优化，以适应长上下文的处理需求。

🖼️ 关键图片

fig_0

📄 摘要（原文）

Large language models (LLMs) draw on parametric knowledge and retrieval-augmented generation (RAG) to solve knowledge-intensive tasks. Yet problem solving in unfamiliar domains calls for tightly coupled knowledge acquisition and reasoning, beyond factual retrieval and aggregation or learning solely from a preassembled context. We study self-learning -- autonomously retrieving, studying, and applying knowledge from long-form reference materials on the fly. To investigate this capability, we formulate a textbook-based mathematical problem-solving task. LLMs must navigate textbook exposition, learn and apply relevant principles, and construct proofs for exercises, with reference solutions withheld. We introduce a BookNavigator interface to support this human-inspired study process and incentivize self-learning through reinforcement learning (RL) with fine-grained rewards. Experiments show that our method improves performance across in-domain and out-of-domain textbooks and subjects, raising Intern-S2-Preview-35B's overall proof accuracy from 51.5% to 79.5% and outperforming RL-trained textbook-free and fixed-retrieval baselines. These gains extend to complex long-context benchmarks involving different task types, with improvements over the base model of 1.7 and 2.3 percentage points on BrowseComp-Plus and CL-bench, respectively. Together, these findings suggest that RL can foster a domain-agnostic self-learning strategy, highlighting the potential of self-learning from long-form corpora to strengthen broader problem-solving capabilities on complex, long-context tasks.