RLMM-Flow: A Flow-based Mobile Manipulation Framework with Latent-Space Reinforcement Learning

📄 arXiv: 2607.26460v1 📥 PDF

作者: Shuhang Wang, Ziming Li, Hui Cheng

分类: cs.RO

发布日期: 2026-07-29

💡 一句话要点

提出RLMM-Flow以解决移动操控中的多模态动作生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动操控 流策略 强化学习 多模态生成 机器人技术 轨迹优化

📋 核心要点

  1. 现有方法在移动操控中面临生成高质量全身动作块的挑战，尤其是在多模态和时间一致性方面。
  2. RLMM-Flow通过结合专家流策略预训练与潜在空间强化学习，提升了动作生成的质量和效率。
  3. 实验结果显示，RLMM-Flow在任务成功率和轨迹质量上显著优于传统的模仿学习和强化学习方法。

📝 摘要（中文）

移动操控需要生成满足目标达成、避免碰撞、遵循基座运动约束和操纵器关节限制的全身动作块。基于流的生成策略为从专家示范中学习多模态和时间一致的运动先验提供了高效的范式，但仅依赖模仿训练无法提升策略质量。本文提出RLMM-Flow，一个结合专家流策略预训练与潜在空间强化学习后训练的框架。该框架首先学习捕捉多模态全身运动先验的流策略，然后通过潜在引导网络优化初始噪声，最终实现高价值动作块的生成。实验表明，RLMM-Flow在任务成功率、碰撞避免和轨迹质量上显著优于仅依赖模仿的流策略及现有强化学习后训练基线，同时保持快速的流推理能力。

🔬 方法详解

问题定义：本文旨在解决移动操控中生成高质量全身动作块的难题，现有方法在多模态和时间一致性方面存在不足，尤其是无法超越专家示范的分布。

核心思路：RLMM-Flow框架首先通过专家示范学习流策略，然后利用潜在引导网络优化动作生成，结合强化学习提升策略质量。

技术框架：该框架包括流策略预训练、潜在引导网络、动作空间评论员的预热训练，以及潜在评论员和潜在演员的联合训练，采用粗到细的潜在引导策略。

关键创新：RLMM-Flow的创新在于将流策略预训练与潜在空间强化学习相结合，突破了传统模仿学习的限制，实现了更高质量的动作生成。

关键设计：在设计中，采用了动作空间评论员的预热训练以稳定高维潜在优化，并引入了逐步扩展的控制策略，以实现从共享潜在表示到全维残差表示的控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RLMM-Flow在移动操控任务中成功率提升了XX%，碰撞避免率提高了XX%，轨迹质量显著优于传统模仿学习和强化学习后训练基线，验证了其有效性和优越性。

🎯 应用场景

RLMM-Flow可广泛应用于服务机器人、自动化仓储和人机协作等领域，提升机器人在复杂环境中的操作能力。未来，该框架有望推动智能机器人在动态场景下的自主决策和执行能力，具有重要的实际价值和影响。

📄 摘要（原文）

Mobile manipulation requires generating whole-body action chunks that jointly satisfy goal reaching, collision avoidance, base kinematic constraints, manipulator joint limits, and trajectory smoothness. Flow-based generative policies provide an efficient paradigm for learning multimodal and temporally consistent motion priors from expert demonstrations, but imitation-only training cannot improve policy quality beyond the demonstration distribution. We propose RLMM-Flow, a flow-based mobile manipulation framework that combines expert flow-policy pretraining with latent-space reinforcement learning post-training. The framework first learns a flow policy that captures a multimodal whole-body motion prior from expert demonstrations. The pretrained flow policy is then frozen, while a latent steering network steers its initial noise toward higher-value action chunks. To stabilize high-dimensional latent optimization, we warm up an action-space critic before jointly training the latent critic and latent actor, and introduce coarse-to-fine latent steering that progressively expands control from a horizon-shared latent representation to a full-dimensional residual representation. Experiments on mobile manipulation motion-planning benchmarks show that RLMM-Flow substantially improves task success, collision avoidance, and trajectory quality over imitation-only flow policies and existing reinforcement learning post-training baselines, while preserving fast flow-based inference.