SEAR: Sample Efficient Action Chunking Reinforcement Learning

📄 arXiv: 2603.01891v1 📥 PDF

作者: C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

分类: cs.LG

发布日期: 2026-03-02

💡 一句话要点

SEAR：一种样本高效的动作块强化学习算法，提升在线强化学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 动作块 在线学习 样本效率 机器人控制

📋 核心要点

  1. 现有动作块方法在纯在线强化学习中表现不佳，主要因为评论家需要评估动作序列，导致数据效率挑战。
  2. SEAR算法利用动作块的时间结构，采用递减时间范围，结合了小块和大块尺寸的优点，提升了学习效率。
  3. 实验表明，SEAR在Metaworld环境中优于现有在线强化学习方法，尤其是在使用较大动作块尺寸时。

📝 摘要（中文）

动作块（Action chunking）能够改善长时程强化学习中的探索和价值估计，但同时也显著增加了学习难度，因为评论家（critic）必须评估动作序列而非单个动作，从而极大地增加了近似和数据效率方面的挑战。因此，现有的动作块方法，主要为离线和离线到在线设置而设计，尚未在纯在线强化学习中取得强大的性能。我们提出了一种用于动作块的离策略在线强化学习算法SEAR。它利用动作块的时间结构，并以递减的时间范围运行，有效地结合了小块和大块尺寸的优点。SEAR在Metaworld上优于最先进的在线强化学习方法，训练时块大小高达20。

🔬 方法详解

问题定义：论文旨在解决在线强化学习中，使用动作块策略时，由于评论家需要评估长序列动作导致的数据效率低下的问题。现有方法，尤其是为离线或离线到在线场景设计的方法，无法在纯在线环境中充分利用动作块的优势。

核心思路：SEAR的核心思路是结合小动作块和大动作块的优点，通过一个递减的时间范围来利用动作块的时间结构。这意味着算法在学习过程中，会同时考虑短期和长期的动作依赖关系，从而提高探索效率和价值估计的准确性。

技术框架：SEAR算法是一个离策略的在线强化学习算法，其主要流程如下：1. 使用动作块生成策略探索环境。2. 将经验数据存储在经验回放缓冲区中。3. 从缓冲区中采样数据，用于更新评论家网络和演员网络。4. 评论家网络评估动作块的价值，演员网络优化动作块的策略。5. 算法使用递减的时间范围来调整动作块的大小，从而平衡短期和长期依赖关系。

关键创新：SEAR的关键创新在于其递减时间范围的动作块策略。与固定大小的动作块相比，SEAR能够更有效地利用数据，并更好地适应不同的环境动态。此外，SEAR是一种纯在线算法，无需预先收集的离线数据，使其更适用于实际应用。

关键设计：SEAR的具体实现细节包括：1. 使用深度神经网络作为评论家和演员网络。2. 使用TD-error作为评论家网络的损失函数。3. 使用策略梯度方法更新演员网络。4. 使用经验回放缓冲区来存储和采样经验数据。5. 递减的时间范围通过一个超参数控制，该参数决定了动作块大小的衰减速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SEAR在Metaworld环境中显著优于现有的在线强化学习算法。具体来说，SEAR在使用高达20的动作块尺寸时，仍然能够稳定地学习，并取得更高的平均奖励。与基线算法相比，SEAR在某些任务上的性能提升超过50%。这些结果表明，SEAR能够有效地利用动作块的优势，提高在线强化学习的样本效率。

🎯 应用场景

SEAR算法可应用于各种需要长时程决策的机器人控制任务，例如复杂环境中的导航、操作和装配。通过提高样本效率，SEAR能够加速机器人的学习过程，使其更快地适应新的任务和环境。此外，该算法还可应用于游戏AI、自动驾驶等领域，提升智能体的决策能力。

📄 摘要（原文）

Action chunking can improve exploration and value estimation in long horizon reinforcement learning, but makes learning substantially harder since the critic must evaluate action sequences rather than single actions, greatly increasing approximation and data efficiency challenges. As a result, existing action chunking methods, primarily designed for the offline and offline-to-online settings, have not achieved strong performance in purely online reinforcement learning. We introduce SEAR, an off policy online reinforcement learning algorithm for action chunking. It exploits the temporal structure of action chunks and operates with a receding horizon, effectively combining the benefits of small and large chunk sizes. SEAR outperforms state of the art online reinforcement learning methods on Metaworld, training with chunk sizes up to 20.