Steering Generative Reinforcement Learning into Stable Robotic Controller

📄 arXiv: 2606.16572v1 📥 PDF

作者: Yixuan Wang, Shutong Ding, Ke Hu, Tianxiang Gui, Jingya Wang, Ye Shi

分类: cs.RO

发布日期: 2026-06-15

💡 一句话要点

提出SteerGenPO以解决高维机器人控制中的不稳定性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成强化学习 机器人控制 潜在空间 稳定性 确定性控制 多样化探索 高维系统

📋 核心要点

  1. 现有的扩散策略在高维机器人控制中存在随机性过强的问题，导致控制不稳定和精确度不足。
  2. SteerGenPO通过引入学习的潜在演员，替代随机潜在采样，实现了探索与控制的分离，从而增强了控制的稳定性。
  3. 实验结果显示，SteerGenPO在多个基准测试中表现优异，尤其在推理时的稳定性和命令响应的可靠性上有显著提升。

📝 摘要（中文）

扩散和基于流的生成策略为强化学习提供了强大的策略类，但其随机性不适合高维机器人系统的稳定精确控制。为此，本文提出SteerGenPO，一个潜在空间强化学习框架，通过学习的潜在演员替代生成策略的随机潜在采样，从而实现稳定的确定性控制。该方法在六个Isaac Lab基准和Unitree G1运动任务中进行了评估，结果表明SteerGenPO在稳定性和可靠性方面优于传统强化学习和生成强化学习基线。

🔬 方法详解

问题定义：本文旨在解决高维机器人系统中生成策略的随机性导致的控制不稳定性问题。现有方法在面对小动作变化时，容易导致不一致的运动和降低的鲁棒性。

核心思路：SteerGenPO的核心思路是将训练好的生成策略的随机潜在采样替换为一个学习的潜在演员，该演员根据状态预测潜在输入，从而实现稳定的确定性控制。

技术框架：该框架包括两个主要模块：生成策略模块和潜在演员模块。生成策略模块负责生成多样化的动作提案，而潜在演员模块则提供稳定的控制输入。

关键创新：最重要的创新在于将随机生成策略与确定性控制相结合，形成了一种新的探索与控制分离的机制，这与现有方法的随机控制方式本质上不同。

关键设计：在设计上，SteerGenPO采用了特定的损失函数来优化潜在演员的输出，同时在网络结构上，潜在演员通过状态信息来预测潜在输入，确保了控制的稳定性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SteerGenPO在六个Isaac Lab基准测试中表现优于传统强化学习和生成强化学习基线，尤其在推理时的行为稳定性和命令响应的可靠性上，提升幅度显著，展示了其在复杂任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括高维机器人控制、自动驾驶、无人机飞行等需要高精度和高稳定性的场景。通过提供更可靠的控制策略，SteerGenPO有望在实际应用中提升机器人系统的性能和安全性，推动智能机器人技术的发展。

📄 摘要（原文）

Diffusion and flow-based generative policies provide a powerful policy class for reinforcement learning by inducing rich stochastic exploration through iterative action generation. However, the stochasticity of diffusion policies is not suitable for stable and precise control in high-dimensional robotic systems, where small action variations can accumulate into inconsistent motion and reduced robustness. To address this issue, we propose SteerGenPO, a latent-space reinforcement learning framework that steers a trained generative policy into a robust deterministic robotic controller. The key idea is to replace stochastic latent sampling of the trained generative policy with a learned latent actor that predicts a state-dependent latent input for the generative policies. This separates exploration and control: stochastic generative sampling provides diverse action proposals during policy learning, while deterministic latent steering provides stable and adaptive control at deployment. We evaluate SteerGenPO on six Isaac Lab benchmarks and a Unitree G1 locomotion task. The results show SteerGenPO improves over both classical RL and generative RL baselines, while its deterministic latent steering produces more stable inference-time behaviors and more reliable command responses.