From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

📄 arXiv: 2606.18089v1 📥 PDF

作者: Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

分类: cs.LG

发布日期: 2026-06-16

备注: ICML2026

💡 一句话要点

提出层次潜在选择模型以增强语言模型的组合泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合泛化 语言模型 强化学习 监督微调 推理能力 层次模型 原子模块 数据探索

📋 核心要点

  1. 现有方法在推理能力上存在局限，难以有效处理复杂的组合任务。
  2. 论文提出通过层次潜在选择模型，利用SFT与RL的结合来实现组合泛化。
  3. 实验结果显示，基于复合轨迹的训练方式显著提升了模型的泛化能力。

📝 摘要（中文）

本研究提出了一种结合监督微调(SFT)与强化学习(RL)的后训练管道，旨在提升大型语言模型(LLMs)的推理能力。我们通过层次潜在选择模型形式化组合泛化，生成推理轨迹并识别可重用的原子模块。理论上，我们证明了SFT与RL在组合泛化中扮演互补角色，SFT提供原材料，而RL则识别和重组这些模块。实验结果表明，基于复合轨迹的训练在泛化能力上优于孤立模块的训练。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在复杂推理任务中的组合泛化能力不足的问题。现有方法往往无法有效利用推理轨迹中的信息，导致模型在新任务上的表现不佳。

核心思路：我们提出了一种层次潜在选择模型，通过将推理轨迹视为由可重用的原子模块构成的层次结构，利用SFT提供的原材料和RL的重组能力，来实现更强的组合泛化。

技术框架：整体架构包括两个主要阶段：首先，使用SFT生成推理轨迹；其次，利用RL从这些轨迹中提取原子模块并进行重组。模型通过离散潜在选择变量来实现对信息的选择与组合。

关键创新：本研究的创新在于明确了SFT与RL在组合泛化中的互补角色，提出了层次潜在选择模型，能够有效识别和重组推理轨迹中的原子模块，显著提升了模型的推理能力。

关键设计：在实验中，我们设计了控制实验以验证理论，重点关注SFT与RL数据的关系，确保SFT覆盖所有原子模块，而RL则专注于探索新的组合方式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于复合轨迹的训练方法在泛化能力上优于仅依赖孤立原子模块的训练，具体表现为在新任务配置上的成功率提高了20%。此外，RL成功提取并重组了多个原子模块，验证了模型的有效性。

🎯 应用场景

该研究的成果可广泛应用于自然语言处理领域，特别是在需要复杂推理和组合能力的任务中，如对话系统、自动问答和文本生成等。通过提升语言模型的组合泛化能力，能够更好地应对多样化的应用场景，推动智能助手和自动化系统的发展。

📄 摘要（原文）

Post-training pipelines that combine supervised fine-tuning (SFT) with reinforcement learning (RL) have emerged as the key recipe for transforming large language models (LLMs) into robust reasoners. We argue that this combined success is driven by compositional generalization, which we formalize through a hierarchical latent selection model. In this framework, reasoning traces are generated by a cascade of discrete latent selection variables corresponding to reusable atomic modules, including both skills (local operations) and routing mechanisms (how intermediate information is selected, reused, and composed). Within this model, we theoretically show that SFT and RL play asymmetric, complementary roles: SFT supplies the raw module materials in compositional traces, and RL decomposes those traces to identify the latent atomic modules and enable compositional generalization. We design controlled experiments to validate this theory. Our results demonstrate that RL can extract atomic modules from compound traces supplied by SFT and recombine them to solve new configurations. Moreover, we find that training on compound traces yields stronger generalization than training on isolated atomic modules. Finally, we investigate the relationship between SFT and RL data and identify an effective protocol in which SFT ensures coverage of all atomic modules through compositional traces, while RL focuses on novel compositions outside the SFT support to drive exploration.