Best of Sim and Real: Decoupled Visuomotor Manipulation via Learning Control in Simulation and Perception in Real

📄 arXiv: 2509.25747v1 📥 PDF

作者: Jialei Huang, Zhaoheng Yin, Yingdong Hu, Shuo Wang, Xingyu Lin, Yang Gao

分类: cs.RO

发布日期: 2025-09-30

备注: 10 pages, 6 figures

💡 一句话要点

提出解耦的视觉运动操作框架，提升Sim-to-Real迁移性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: Sim-to-Real 机器人操作 解耦学习 视觉运动 强化学习

📋 核心要点

  1. 端到端学习方法在机器人操作的Sim-to-Real迁移中，感知和控制相互纠缠，导致泛化性差，需要大量真实数据。
  2. 提出解耦框架，在仿真环境中学习控制策略，在真实环境中进行感知适配，降低了对真实数据的需求。
  3. 实验表明，该方法在数据效率和分布外泛化方面优于端到端基线，验证了解耦感知和控制的有效性。

📝 摘要（中文）

本文提出了一种解耦框架，用于解决机器人操作中的Sim-to-Real迁移问题。该框架在仿真环境中利用特权状态训练控制策略，掌握空间布局和操作动力学；在真实环境中，仅需少量真实数据即可进行感知适配，将真实观测对齐到冻结的控制策略。核心思想是控制策略和动作模式具有通用性，可以通过系统随机化在仿真环境中学习，而感知则具有领域特定性，必须在真实的视觉观测中学习。与需要大量真实数据的端到端方法不同，该方法通过将复杂的Sim-to-Real问题转化为结构化的感知对齐任务，仅需10-20个真实演示即可实现良好的性能。在桌面操作任务上的验证表明，该方法在数据效率和分布外泛化方面优于端到端基线。学习到的策略能够成功处理超出训练分布的物体位置和尺度，证明了解耦感知和控制能够从根本上改善Sim-to-Real迁移。

🔬 方法详解

问题定义：Sim-to-Real迁移是机器人操作中的一个核心挑战。现有的端到端学习方法将感知和控制紧密耦合，导致模型难以泛化到真实世界，需要大量的真实数据进行训练，成本高昂。这些方法难以有效分离控制策略的通用性和感知对环境的依赖性。

核心思路：本文的核心思路是将感知和控制解耦。控制策略在仿真环境中学习，利用特权状态信息，专注于掌握操作的动力学和空间布局。感知模块则在真实环境中进行适配，将真实世界的视觉观测对齐到仿真环境中学习到的控制策略。这种解耦使得控制策略具有更强的通用性，而感知模块则能够更好地适应真实世界的视觉特征。

技术框架：该框架包含两个主要模块：控制策略学习模块和感知适配模块。控制策略学习模块在仿真环境中，通过强化学习或模仿学习训练控制策略，利用系统随机化增强策略的鲁棒性。感知适配模块则在真实环境中，利用少量真实数据，学习一个映射函数，将真实世界的视觉观测转换为仿真环境中的状态表示，从而使控制策略能够在真实世界中执行。整体流程是先在仿真环境中训练控制策略，然后在真实环境中进行感知适配，最后将适配后的感知模块与控制策略结合，实现机器人的操作任务。

关键创新：最重要的技术创新点在于解耦感知和控制。传统的端到端方法将感知和控制视为一个整体进行学习，而本文将它们分离，分别在最适合的环境中进行学习。这种解耦使得控制策略具有更强的通用性，而感知模块则能够更好地适应真实世界的视觉特征。与现有方法的本质区别在于，本文的方法不需要大量的真实数据进行训练，只需要少量真实数据进行感知适配。

关键设计：在控制策略学习模块中，使用强化学习算法（如PPO）或模仿学习算法（如行为克隆）训练控制策略。在感知适配模块中，可以使用各种机器学习算法，如监督学习或无监督学习，学习一个映射函数，将真实世界的视觉观测转换为仿真环境中的状态表示。损失函数的设计至关重要，需要考虑感知误差和控制性能之间的平衡。网络结构的选择也需要根据具体的任务进行调整，可以使用卷积神经网络（CNN）处理图像数据，使用循环神经网络（RNN）处理序列数据。

📊 实验亮点

实验结果表明，该方法在桌面操作任务上，仅使用10-20个真实演示即可达到与需要大量真实数据的端到端基线相当甚至更好的性能。与端到端基线相比，该方法在数据效率方面有显著提升，并且在分布外泛化方面表现更佳，能够成功处理超出训练分布的物体位置和尺度。

🎯 应用场景

该研究成果可广泛应用于各种机器人操作任务，例如工业自动化、家庭服务机器人、医疗机器人等。通过解耦感知和控制，可以降低机器人部署的成本和难度，提高机器人的鲁棒性和泛化能力。未来，该方法可以进一步扩展到更复杂的任务和环境，例如多机器人协作、动态环境下的操作等。

📄 摘要（原文）

Sim-to-real transfer remains a fundamental challenge in robot manipulation due to the entanglement of perception and control in end-to-end learning. We present a decoupled framework that learns each component where it is most reliable: control policies are trained in simulation with privileged state to master spatial layouts and manipulation dynamics, while perception is adapted only at deployment to bridge real observations to the frozen control policy. Our key insight is that control strategies and action patterns are universal across environments and can be learned in simulation through systematic randomization, while perception is inherently domain-specific and must be learned where visual observations are authentic. Unlike existing end-to-end approaches that require extensive real-world data, our method achieves strong performance with only 10-20 real demonstrations by reducing the complex sim-to-real problem to a structured perception alignment task. We validate our approach on tabletop manipulation tasks, demonstrating superior data efficiency and out-of-distribution generalization compared to end-to-end baselines. The learned policies successfully handle object positions and scales beyond the training distribution, confirming that decoupling perception from control fundamentally improves sim-to-real transfer.