CANDO: Conservative Action-Noise Directional Optimization for Residual Reinforcement Learning

📄 arXiv: 2611.04543v1 📥 PDF

作者: Zeyu Gao, Chengkai Hou, Chaoyue Li, Zhuangzhe Wu, Jiaming Liu, Yao Mu, Peng Jia, Li Zhang, Shanghang Zhang

分类: cs.LG, cs.AI

发布日期: 2026-11-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CANDO以优化残差强化学习中的动作噪声适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 机器人控制 生成策略 噪声空间 动作空间 残差学习 保守约束

📋 核心要点

  1. 现有的噪声空间残差方法在适应预训练生成策略时，通常依赖固定的潜在可行区域，限制了噪声编辑的灵活性。
  2. 本文提出的CANDO方法通过结合噪声空间和动作空间的残差学习，优化了冻结生成策略的适应过程，消除了固定潜在区域的限制。
  3. 实验结果显示，CANDO在性能上显著提升，达到了76.1 NAUC和91.4%的成功率，超越了以往的最佳结果。

📝 摘要（中文）

预训练的生成策略为机器人控制提供了强大的行为先验，但如何高效地通过在线强化学习对其进行适应仍然是一个挑战。现有的噪声空间残差方法通过固定的潜在可行区域来调节适应，可能会排除有价值的噪声编辑。本文提出了保守噪声方向优化（CNDO）和保守动作噪声方向优化（CANDO），通过学习状态和噪声条件下的方向来改进冻结的生成策略，消除了预定义的潜在可行区域，并通过软保守约束进行调节。实验结果表明，CANDO在单空间优化上进一步提升了性能，达到了76.1 NAUC和91.4%的最终成功率，超越了最佳单空间结果。

🔬 方法详解

问题定义：本文旨在解决如何高效适应冻结的生成策略的问题。现有噪声空间方法通过固定的潜在可行区域进行调节，可能导致有价值的噪声编辑被排除，影响策略的优化效果。

核心思路：提出的CANDO方法通过学习状态和噪声条件下的方向，结合噪声空间和动作空间的残差学习，优化了生成策略的适应过程，避免了固定潜在区域的限制。

技术框架：CANDO的整体架构包括两个主要模块：噪声空间优化和动作空间优化。噪声空间优化通过保守值估计和门控执行来调节噪声适应，而动作空间优化则通过局部动作修正来提升样本效率。

关键创新：CANDO的核心创新在于结合了噪声空间和动作空间的残差学习，消除了对潜在可行区域的依赖，从而提高了适应的灵活性和效率。

关键设计：在设计中，采用了软保守约束来调节噪声空间的适应，并通过门控机制来控制动作的执行。此外，损失函数的设计也考虑了保守值估计，以确保策略的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CANDO在性能上显著提升，达到了76.1 NAUC和91.4%的最终成功率，超越了最佳单空间结果6.6 NAUC和4.1%的成功率，展示了其在强化学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等。通过优化生成策略的适应过程，CANDO能够提升机器人在复杂环境中的决策能力和执行效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Pretrained generative policies provide strong behavior priors for robot control, but adapting them efficiently with online reinforcement learning remains difficult. A central challenge is how to improve a frozen generative policy without destroying the structure learned from offline demonstrations. Noise-space residual methods address this by modifying the policy's input noise, but existing noise-space methods typically regulate adaptation through fixed latent feasible regions, which may exclude valuable noise edits. In contrast, action-space residual methods are more sample-efficient, but their efficiency can still be further improved. We propose Conservative Noise Directional Optimization (CNDO), a noise-space residual RL method that improves a frozen generative policy by learning state- and noise-conditioned directions around Gaussian latent samples. CNDO removes predefined latent feasible regions and instead regulates noise-space adaptation through the soft conservative constraint, which consists of conservative value estimation and gated execution. We further introduce Conservative Action-Noise Directional Optimization (CANDO), which adds an action-space residual, combining structured latent-space improvement with local action correction. Experiments show that, once CNDO narrows the gap between noise-space and action-space residual learning, CANDO further improves over single-space optimization, achieving 76.1 NAUC and a 91.4% final success rate, surpassing the best single-space results by 6.6 NAUC and 4.1% success rate. More demos and info are available on https://cando-rl.github.io/.