Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

📄 arXiv: 2511.14427v1 📥 PDF

作者: Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

分类: cs.RO, cs.LG

发布日期: 2025-11-18

备注: 9 pages, 10 figures, preprint

💡 一句话要点

提出MSDP，用于接触式机器人强化学习的多模态自监督预训练。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多模态学习 自监督学习 机器人强化学习 接触式操作 Transformer 掩码自编码 传感器融合

📋 核心要点

  1. 现有强化学习方法在多模态机器人控制中，难以应对传感器噪声和动态变化，导致学习效率低下。
  2. MSDP通过掩码自编码器，从部分传感器数据重建完整的多模态观测，实现跨模态融合和鲁棒的特征提取。
  3. MSDP在模拟和真实机器人任务中表现出加速学习和对扰动的鲁棒性，仅需少量交互即可实现高成功率。

📝 摘要（中文）

有效的接触式操作需要机器人协同利用视觉、力觉和本体感觉。然而，强化学习智能体在这种多模态环境中难以学习，尤其是在存在传感器噪声和动态变化的情况下。我们提出了多模态动态预训练（MSDP），这是一个新颖的框架，用于学习为面向任务的策略学习量身定制的表达性多模态表示。MSDP基于掩码自编码，并通过仅从传感器嵌入的子集中重建多模态观测来训练基于Transformer的编码器，从而实现跨模态预测和传感器融合。对于下游策略学习，我们引入了一种新颖的非对称架构，其中交叉注意力机制允许评论家从冻结的嵌入中提取动态的、特定于任务的特征，而演员接收稳定的池化表示以指导其动作。我们的方法展示了在各种扰动（包括传感器噪声和对象动态变化）下的加速学习和鲁棒性能。在模拟和真实世界中的多个具有挑战性的、接触式机器人操作任务中的评估展示了MSDP的有效性。我们的方法对扰动表现出很强的鲁棒性，并在真实机器人上仅通过6,000次在线交互就实现了高成功率，为复杂的多模态机器人控制提供了一个简单而强大的解决方案。

🔬 方法详解

问题定义：论文旨在解决接触式机器人强化学习中，由于多模态传感器数据（视觉、力觉、本体感觉）的噪声和动态变化，导致传统强化学习算法难以有效学习的问题。现有方法通常难以充分利用多模态信息，并且对环境扰动的鲁棒性较差。

核心思路：论文的核心思路是利用自监督学习方法，预训练一个能够有效融合多模态传感器信息的编码器。通过掩码自编码的方式，迫使模型从部分传感器数据中重建完整的多模态观测，从而学习到跨模态的关联性和鲁棒的特征表示。这种预训练的表示可以加速下游强化学习任务的学习过程，并提高策略的鲁棒性。

技术框架：MSDP框架包含两个主要阶段：预训练阶段和策略学习阶段。在预训练阶段，使用一个基于Transformer的编码器，通过掩码自编码的方式学习多模态表示。在策略学习阶段，采用一种非对称的Actor-Critic架构。Critic网络使用交叉注意力机制，从预训练的冻结嵌入中提取动态的、特定于任务的特征。Actor网络接收一个稳定的池化表示，用于指导动作的生成。

关键创新：MSDP的关键创新在于其多模态动态预训练方法和非对称的Actor-Critic架构。多模态动态预训练通过掩码自编码的方式，实现了跨模态的传感器融合和鲁棒的特征提取。非对称的Actor-Critic架构允许Critic网络利用动态的、特定于任务的特征，而Actor网络则保持稳定，从而提高了学习效率和策略的鲁棒性。与现有方法相比，MSDP能够更好地利用多模态信息，并且对环境扰动具有更强的鲁棒性。

关键设计：在预训练阶段，使用Transformer编码器，输入为掩码后的多模态传感器数据嵌入。损失函数为重建误差，目标是最小化重建的多模态观测与原始观测之间的差异。在策略学习阶段，Critic网络使用交叉注意力机制，将状态表示与预训练的嵌入进行融合。Actor网络使用一个简单的全连接网络，输入为池化后的预训练嵌入。论文中没有明确给出具体的参数设置和网络结构细节，但强调了预训练嵌入的冻结，以保证Actor网络的稳定性。

📊 实验亮点

MSDP在模拟和真实机器人任务中都取得了显著的成果。在真实机器人实验中，仅使用6000次在线交互，MSDP就实现了很高的成功率，并且表现出对传感器噪声和对象动态变化的鲁棒性。与没有预训练的基线方法相比，MSDP显著提高了学习效率和策略性能，证明了其在接触式机器人强化学习中的有效性。

🎯 应用场景

该研究成果可应用于各种需要接触式操作的机器人任务，例如装配、抓取、操作工具等。通过预训练的多模态表示，机器人可以更好地理解环境，并做出更精确和鲁棒的动作。该方法在工业自动化、医疗机器人、家庭服务机器人等领域具有广泛的应用前景，有助于提升机器人的智能化水平和适应能力。

📄 摘要（原文）

Effective contact-rich manipulation requires robots to synergistically leverage vision, force, and proprioception. However, Reinforcement Learning agents struggle to learn in such multisensory settings, especially amidst sensory noise and dynamic changes. We propose MultiSensory Dynamic Pretraining (MSDP), a novel framework for learning expressive multisensory representations tailored for task-oriented policy learning. MSDP is based on masked autoencoding and trains a transformer-based encoder by reconstructing multisensory observations from only a subset of sensor embeddings, leading to cross-modal prediction and sensor fusion. For downstream policy learning, we introduce a novel asymmetric architecture, where a cross-attention mechanism allows the critic to extract dynamic, task-specific features from the frozen embeddings, while the actor receives a stable pooled representation to guide its actions. Our method demonstrates accelerated learning and robust performance under diverse perturbations, including sensor noise, and changes in object dynamics. Evaluations in multiple challenging, contact-rich robot manipulation tasks in simulation and the real world showcase the effectiveness of MSDP. Our approach exhibits strong robustness to perturbations and achieves high success rates on the real robot with as few as 6,000 online interactions, offering a simple yet powerful solution for complex multisensory robotic control.