AffordTrajDP: Dynamic Affordance-Guided Visuomotor Policy Learning for Robotic Manipulation
作者: Gaoyuan Wu, Ziyu Shan, Haoyang Du, Yuyao Jiang, Ziwei Wang
分类: cs.RO
发布日期: 2026-08-03
💡 一句话要点
提出AffordTrajDP以解决静态可供性在机器人操作中的不一致问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 可供性引导 模仿学习 机器人操作 动态轨迹 视觉感知 鲁棒性 物体中心传播
📋 核心要点
- 现有的静态可供性方法在精确度要求高的任务中表现不稳定，导致后接触轨迹漂移。
- 本文提出的AffordTrajDP通过物体中心的时间传播动态构建可供性轨迹，从而提供一致的操作指导。
- 在ManiSkill3上，AffordTrajDP实现了70.0%的成功率，较强基线提升了17.8%，并在实际机器人实验中验证了其鲁棒性。
📝 摘要（中文）
可供性引导的模仿学习在机器人操作任务中表现出色，通过将视觉感知压缩为特定任务的几何约束。然而，常用的静态可供性在精确度要求高的任务中或物体位置扰动下可能导致后接触轨迹漂移。为了解决这一问题，本文提出了AffordTrajDP，一个动态框架，通过物体中心的时间传播构建可供性轨迹，以指导逐步操作过程。具体而言，给定RGB-D观察，核心思想是通过可供性传播将检索到的锚点可供性向前传播，从而生成提供时间一致性和状态感知指导的可供性轨迹。AffordTrajDP在ManiSkill3上实现了70.0%的平均成功率，超越了强基线17.8%。在Galaxea A1和UR7e机器人臂上的实际实验进一步验证了其在物体放置变化和外观变化下的鲁棒性。
🔬 方法详解
问题定义：本文旨在解决静态可供性在机器人操作中的不一致性问题，尤其是在精确度要求高的任务和物体位置扰动情况下，常导致后接触轨迹漂移。
核心思路：提出的AffordTrajDP通过物体中心的时间传播动态构建可供性轨迹，利用物体的SE(3)位姿作为传播媒介，从而实现时间一致性和状态感知的操作指导。
技术框架：AffordTrajDP的整体架构包括三个主要模块：1) RGB-D观察的输入处理；2) 锚点可供性的检索与传播；3) 生成可供性轨迹以指导操作过程。
关键创新：最重要的创新在于动态可供性轨迹的构建方法，区别于传统静态可供性，能够适应物体位置变化和外观变化，提供更为精确的操作指导。
关键设计：在设计中，采用了特定的损失函数来优化可供性轨迹的生成，并通过实验验证了不同参数设置对最终性能的影响。
🖼️ 关键图片
📊 实验亮点
AffordTrajDP在ManiSkill3上实现了70.0%的平均成功率，较强基线提升了17.8%。在Galaxea A1和UR7e机器人臂上的实验验证了其在物体放置变化和外观变化下的鲁棒性，显示出该方法的实际应用价值。
🎯 应用场景
该研究在机器人操作领域具有广泛的应用潜力，尤其是在需要高精度和鲁棒性的任务中，如工业自动化、服务机器人和人机协作等。未来，AffordTrajDP可能推动更智能的机器人系统，使其在复杂环境中更有效地执行任务。
📄 摘要（原文）
Affordance-guided imitation learning has shown impressive performance in robotic manipulation tasks by compressing visual perception into task-specific geometric constraints (e.g., fixed contact points). However, the commonly used static affordances can become inconsistent in precision-critical tasks or under object location perturbations, leading to post-contact trajectory drift. To address this issue, we propose AffordTrajDP, a dynamic framework that constructs affordance trajectories via object-centric temporal propagation to guide the progressive manipulation process. Specifically, given an RGB-D observation, our core insight is that a retrieved anchor affordance, which captures the desired contact point between the end-effector and the target object, can be propagated forward via affordance propagation, using the object's SE(3) pose as a natural propagation medium, to yield an affordance trajectory that provides temporally consistent, state-aware guidance throughout execution. AffordTrajDP achieves 70.0% average success rate on ManiSkill3, outperforming strong baselines by up to 17.8%. Real-world experiments on Galaxea A1 and UR7e robotic arms, covering StackCube, PickCup, AdapterInsertion, Ring-on-Peg, Put-in-Bowl, and USB Insertion, further validate robustness under object placement variations and appearance changes, with seen and unseen object instances evaluated on Galaxea A1, and ablations confirm the contribution of each proposed component.