On the Role of Computation in Reinforcement Learning

📄 arXiv: 2602.05999 📥 PDF

作者: Raj Ghugare, Michał Bortkiewicz, Alicja Ziarko, Benjamin Eysenbach

分类: cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出计算受限策略以提升强化学习的学习能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 计算资源 策略优化 神经网络 泛化能力 算法学习 模型自由规划

📋 核心要点

  1. 现有的强化学习方法未能有效区分计算资源与参数数量，导致学习能力受限。
  2. 论文提出了一种计算受限的策略，通过形式化定义和最小架构设计，允许灵活使用计算资源。
  3. 实验结果显示，该架构在多种任务中表现优于传统网络，特别是在长时间任务的泛化能力上有显著提升。

📝 摘要（中文）

本论文探讨了强化学习（RL）策略可用计算资源的多少如何影响其学习效果。现有的RL框架未能提供正式的语言来回答这一问题。通过形式化计算受限策略，论文证明了使用更多计算资源的策略能够解决更复杂的问题，并在长时间任务中实现更好的泛化。基于算法学习和无模型规划的先前研究，作者提出了一种最小架构，能够灵活使用不同量的计算资源。实验结果表明，该架构在31个不同任务上表现优异，使用更多计算资源能够显著提升性能和泛化能力。

🔬 方法详解

问题定义：本论文旨在解决强化学习中计算资源与学习能力之间的关系，现有方法未能明确区分计算量与参数数量的影响，导致策略性能受限。

核心思路：论文通过形式化计算受限策略，提出一种能够根据需求灵活调整计算资源的最小架构，旨在提高策略的学习能力和泛化能力。

技术框架：整体架构包括一个可变计算量的神经网络，设计上允许在固定参数下使用不同的计算资源。主要模块包括输入层、计算层和输出层，计算层根据任务需求动态调整计算量。

关键创新：最重要的创新在于提出了计算受限的策略形式化定义，并通过实验验证了使用更多计算资源的策略在解决复杂问题和长时间任务中的优势。与现有方法相比，该策略能够在相同参数下实现更高的性能。

关键设计：在网络结构上，采用了灵活的计算层设计，允许动态调整计算资源的使用。损失函数设计上，考虑了任务的复杂性和计算资源的有效利用，以优化学习过程。实验中使用了多种任务设置，以验证架构的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的架构在31个不同任务上表现优异，使用更多计算资源的策略在性能上提升显著，尤其在长时间任务的泛化能力上，较标准前馈网络和深度残差网络提升了多达5倍的参数使用效率。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能等需要高效学习和决策的场景。通过提升强化学习策略的计算利用效率，可以在复杂环境中实现更优的决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

How does the amount of compute available to a reinforcement learning (RL) policy affect its learning? Can policies using a fixed amount of parameters, still benefit from additional compute? The standard RL framework does not provide a language to answer these questions formally. Empirically, deep RL policies are often parameterized as neural networks with static architectures, conflating the amount of compute and the number of parameters. In this paper, we formalize compute bounded policies and prove that policies which use more compute can solve problems and generalize to longer-horizon tasks that are outside the scope of policies with less compute. Building on prior work in algorithmic learning and model-free planning, we propose a minimal architecture that can use a variable amount of compute. Our experiments complement our theory. On a set 31 different tasks spanning online and offline RL, we show that $(1)$ this architecture achieves stronger performance simply by using more compute, and $(2)$ stronger generalization on longer-horizon test tasks compared to standard feedforward networks or deep residual network using up to 5 times more parameters.