Reasoning or Pattern Exploitation? Mechanistic Insights from RL-Trained Language Models
作者: Aishik Nagar, Cheston Tan
分类: cs.AI, cs.CL
发布日期: 2026-10-29
💡 一句话要点
提出机制性洞察以区分RL训练语言模型的推理与模式利用
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 强化学习 机制可解释性 推理能力 稀疏自编码器 井字棋 特征发现
📋 核心要点
- 现有研究对RL训练后语言模型的推理能力是否真实存在存在争议，缺乏深入的机制性分析。
- 本文通过在井字棋这一有限逻辑领域中训练LLMs，探讨其内部表征的演变过程，提供系统的可解释性分析。
- 实验结果表明，尽管模型在准确性上表现优异，但其推理能力主要依赖于提示中的显性信息，而非高层次的推理概念。
📝 摘要（中文）
大型语言模型（LLMs）在强化学习（RL）后被认为获得了“推理”能力，但这些提升是否反映真实推理能力仍未深入探讨。本文通过分析在有限逻辑领域（井字棋）中训练的LLMs，追踪其内部表征在RL过程中的演变。结果显示，尽管RL在准确性和鲁棒性上表现良好，但机制可解释性分析表明，模型主要依赖于提示中已明确的信息，而高层概念如棋盘对称性和战略分叉的表征较弱。这提示RL驱动的“推理”可能仅是对输入信息的任务特定适应，而非真正的推理能力。我们首次提供了系统的可解释性管道，扩展了基于稀疏自编码器的特征发现，并展示了RL后训练并未增加或移除概念信息，而是重新组织了特征的主导地位。
🔬 方法详解
问题定义：本文旨在探讨RL训练的语言模型是否真正具备推理能力，现有方法未能有效区分推理与模式利用的本质差异。
核心思路：通过在井字棋这一有限且可分析的逻辑领域中训练LLMs，分析其内部表征的演变，揭示模型推理能力的真实来源。
技术框架：研究采用了稀疏自编码器（SAE）提取特征，并结合强化学习的Group Relative Policy Optimization（GRPO）方法，系统追踪模型在训练过程中的表征动态。
关键创新：首次提出系统的可解释性管道，能够有效追踪小规模LLMs在RL训练中的表征变化，扩展了SAE的特征发现方法至假设驱动的测试。
关键设计：在模型训练中，采用了特定的损失函数和参数设置，以确保模型能够有效学习到与井字棋相关的特征，同时通过因果干预分析决策过程在模型的晚层状态中定位。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RL训练后的模型在井字棋任务上表现出高准确性和鲁棒性，但机制分析表明，模型主要依赖于提示中的显性信息。相比之下，高层次的推理概念如棋盘对称性和战略分叉的表征较弱，提示现有推理基准可能高估了模型的真实能力。
🎯 应用场景
该研究为理解大型语言模型的推理能力提供了新的视角，尤其是在强化学习后如何影响模型的决策过程。其方法论可以应用于其他逻辑推理任务，帮助研究者更好地设计和评估语言模型的推理能力，推动人工智能在复杂决策场景中的应用。
📄 摘要（原文）
Large language models (LLMs) are increasingly described as acquiring "reasoning" skills after reinforcement learning with verifiable rewards. However, whether these gains reflect genuine reasoning or more superficial adaptations remains underexplored. In this work, we probe LLMs trained in a finite and exhaustively analyzable logical domain, namely Tic-Tac-Toe, and trace how internal representations evolve across reinforcement learning (RL) with Group Relative Policy Optimization (GRPO). Quantitatively, RL yields high accuracy and robustness across prompt variations, suggesting the emergence of game reasoning. Mechanistic interpretability, however, paints a different picture: features extracted with sparse autoencoders (SAEs) reveal that models primarily adapt to rely more heavily on information already explicit in the prompt, such as whose turn it is, game progression and board occupancy. In comparison, high-level concepts like board symmetries and strategic forks remain weakly represented, raising concerns that reasoning benchmarks overestimate model abilities. This suggests that RL-driven "reasoning" may conflate task-specific adaptations to input information with reasoning ability. We provide, for the first time: (i) a systematic interpretability pipeline tracing representation dynamics across RL training in small-scale LLMs; (ii) an extension of SAE-based feature discovery to hypothesis-driven testing in a finite logical domain; and (iii) an interpretability-based demonstration that RL post-training neither adds nor removes concept information but reorganizes which features dominate the representation, with causal interventions locating the decision downstream of it, in the late-layer state.