Correspondence-Oriented Imitation Learning: Flexible Visuomotor Control with 3D Conditioning

📄 arXiv: 2512.05953v1 📥 PDF

作者: Yunhao Cao, Zubin Bhaumik, Jessie Jia, Xingyi He, Kuan Fang

分类: cs.RO

发布日期: 2025-12-05

💡 一句话要点

提出面向对应关系的模仿学习框架COIL，实现灵活的3D视觉运动控制。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 视觉运动控制 对应关系 时空注意力 机器人操作

📋 核心要点

  1. 现有视觉运动控制方法难以处理任务规范中关键点数量和时间间隔变化的情况。
  2. COIL通过定义物体关键点的预期运动来表示任务，并利用时空注意力机制融合多模态信息。
  3. COIL在真实操作任务中表现优异，能够泛化到不同的任务、对象和运动模式。

📝 摘要（中文）

本文提出了一种面向对应关系的模仿学习框架（COIL），用于具有灵活3D任务表示的视觉运动控制。该方法的核心思想是将每个任务定义为场景中物体上选定关键点的预期运动。COIL支持具有可变空间和时间粒度的任务规范，能够适应不同的用户意图和任务需求，而无需假设固定数量的关键点或均匀间隔的时间间隔。为了将这种面向对应关系的任务表示稳健地融入到动作中，我们设计了一个具有时空注意力机制的条件策略，该机制有效地融合了跨多个输入模态的信息。该策略通过可扩展的自监督流程进行训练，使用在模拟中收集的演示，并自动生成事后对应标签。COIL可以泛化到不同的任务、对象和运动模式，在稀疏和密集规范下的真实世界操作任务中，与先前的方法相比，实现了卓越的性能。

🔬 方法详解

问题定义：现有视觉运动控制方法通常假设固定的关键点数量和均匀的时间间隔，这限制了它们在处理具有不同空间和时间粒度的任务规范时的灵活性。此外，将任务表示与动作关联起来也面临挑战，尤其是在真实世界场景中。

核心思路：COIL的核心思路是利用物体上的关键点对应关系来定义任务，并学习一个条件策略，该策略能够根据这些对应关系生成动作。通过引入时空注意力机制，COIL可以有效地融合来自不同模态的信息，从而实现更鲁棒的控制。

技术框架：COIL框架包含以下主要模块：1) 任务表示模块，用于定义物体上的关键点及其预期运动；2) 条件策略模块，该策略接收视觉输入和任务表示作为输入，并生成相应的动作；3) 时空注意力模块，用于融合来自不同模态的信息，并关注与当前任务相关的关键点；4) 自监督训练流程，利用模拟数据和事后对应标签来训练策略。

关键创新：COIL的关键创新在于其面向对应关系的任务表示和时空注意力机制。与现有方法相比，COIL能够处理具有可变空间和时间粒度的任务规范，并且能够更有效地利用多模态信息。此外，COIL的自监督训练流程使其能够利用大量的模拟数据进行训练，从而提高其泛化能力。

关键设计：COIL使用Transformer网络作为其条件策略的基础架构，并引入了时空注意力机制来融合视觉输入和任务表示。损失函数包括模仿学习损失和正则化项，以鼓励策略学习到平滑的动作。自监督训练流程利用事后对应标签来生成训练数据，从而避免了手动标注的需要。具体参数设置（如Transformer层数、注意力头数等）未知。

📊 实验亮点

COIL在真实世界操作任务中取得了显著的性能提升。与现有方法相比，COIL在稀疏和密集规范下均表现出更强的泛化能力和更高的成功率。具体性能数据未知，但论文强调了COIL在不同任务、对象和运动模式下的优越性。

🎯 应用场景

COIL具有广泛的应用前景，例如机器人操作、自动化装配、人机协作等。它可以用于控制机器人执行各种复杂的任务，例如抓取、放置、组装等。此外，COIL还可以用于开发更智能的人机交互系统，使人类能够更自然地与机器人进行交互。

📄 摘要（原文）

We introduce Correspondence-Oriented Imitation Learning (COIL), a conditional policy learning framework for visuomotor control with a flexible task representation in 3D. At the core of our approach, each task is defined by the intended motion of keypoints selected on objects in the scene. Instead of assuming a fixed number of keypoints or uniformly spaced time intervals, COIL supports task specifications with variable spatial and temporal granularity, adapting to different user intents and task requirements. To robustly ground this correspondence-oriented task representation into actions, we design a conditional policy with a spatio-temporal attention mechanism that effectively fuses information across multiple input modalities. The policy is trained via a scalable self-supervised pipeline using demonstrations collected in simulation, with correspondence labels automatically generated in hindsight. COIL generalizes across tasks, objects, and motion patterns, achieving superior performance compared to prior methods on real-world manipulation tasks under both sparse and dense specifications.