Learning Object Manipulation from Scratch via Contrastive Interaction
作者: Tongle Shen, Caleb Chuck, Fan Feng, Biwei Huang
分类: cs.RO, cs.LG
发布日期: 2026-06-10
💡 一句话要点
提出交互加权重采样以解决对象操作中的动态变化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 对比强化学习 交互加权重采样 机器人操作 动态变化 多模态可达性 样本效率 自动化控制
📋 核心要点
- 现有的对比强化学习方法在物体操作任务中面临挑战，尤其是在处理复杂的交互动态时表现不佳。
- 本文提出交互加权重采样（IWR），通过在交互的不同阶段进行重采样，增强模型对动态模式变化的适应能力。
- 实验结果表明，IWR在多个环境中显著提高了样本效率和性能，尤其是在机器人空气曲棍球任务中成功率从25%提升至60%。
📝 摘要（中文）
对比强化学习（CRL）在多种目标导向的机器人任务中取得了成功，但在交互丰富的操作任务中表现不佳。本文认为，物体中心的交互（如接触或抓取）导致动态模式的显著变化，是造成这一困难的关键原因。我们将操作动态建模为分段光滑的马尔可夫过程，提出交互加权重采样（IWR），通过在交互前、中、后进行交互感知重采样，鼓励学习的表示保留模式边界，从而捕捉多模态和分段非线性可达性。在多个交互中心环境中，IWR在样本效率和整体性能上均优于以往的CRL方法，模拟中平均提升19.8%。
🔬 方法详解
问题定义：本文旨在解决对比强化学习在物体操作任务中因交互引起的动态变化问题。现有方法在处理物体接触和抓取等交互时，难以有效表示和规划动态模式的变化。
核心思路：我们将操作动态视为分段光滑的马尔可夫过程，提出交互加权重采样（IWR），通过在交互的不同阶段进行重采样，鼓励模型学习保留模式边界，从而更好地捕捉多模态和分段非线性可达性。
技术框架：IWR的整体框架包括三个主要阶段：交互前的重采样、交互中的动态调整和交互后的模式更新。每个阶段都针对不同的动态模式进行优化，以提高学习效率。
关键创新：IWR的核心创新在于其交互感知的重采样机制，能够有效捕捉和利用交互引起的动态变化，这与传统CRL方法的单一模式表示形成鲜明对比。
关键设计：在IWR中，我们设计了特定的重采样策略和损失函数，以确保模型在不同交互阶段的有效学习。此外，网络结构经过优化，以适应分段非线性可达性的复杂性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，IWR在多个交互中心的环境中表现优异，尤其是在机器人空气曲棍球任务中，成功率从25%提升至60%，同时在模拟环境中平均提升19.8%的样本效率和整体性能，显著优于以往的CRL方法。
🎯 应用场景
该研究在机器人操作、自动化控制等领域具有广泛的应用潜力。通过提高机器人在复杂交互环境中的操作能力，IWR可以推动智能机器人在家庭、工业和服务等多种场景中的实际应用，提升其自主性和效率。
📄 摘要（原文）
Contrastive Reinforcement Learning (CRL) has seen recent success in a wide variety of goal-conditioned robotics tasks by learning structured representations of the dynamics. However, despite its success in locomotion and simpler control domains, CRL often struggles in interaction-rich manipulation. We argue that a key source of this difficulty is object-centric interaction, such as contact or grasping, that induces distinct changes in the underlying dynamic modes. In this work, we formulate manipulation dynamics as a piecewise-smooth Markov process and show that interaction-induced mode changes create piecewise nonlinear reachability structures that are difficult for standard CRL energy functions to represent and plan over. Based on this analysis, we introduce Interaction-weighted Resampling (IWR). IWR performs interaction-aware resampling around phases before, during, and after interactions, encouraging the learned representation to preserve the mode boundaries that determine future reachability to capture multi-modal and piecewise nonlinear reachability. Across interaction-centric environments, including 2D dynamic control, robotic manipulation, and robot air hockey, IWR improves both sample efficiency and overall performance over prior CRL methods, with 19.8% average improvement in simulation. Finally, using a sim-to-real pipeline with policies trained by IWR, we demonstrate the first real-world goal-conditioned robot air hockey agent capable of hitting goals, improving success from 25% to 60%. Project Page: IWR-arxiv.github.io.