SemAnCorr: Semantic Anchored Correspondence for Zero-Shot Manipulation Skill Transfer
作者: Xiaoxiang Dong, William Baron, Hongyi Chen, Uksang Yoo, Jeffrey Ichnowski, Weiming Zhi
分类: cs.RO
发布日期: 2026-07-30
💡 一句话要点
提出SemAnCorr以解决零-shot操作技能转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 零-shot学习 操作技能转移 语义一致性 几何一致性 机器人学习
📋 核心要点
- 现有方法在跨几何差异的物体实例间进行操作技能转移时，常面临空间不一致的对应关系问题。
- SemAnCorr通过选择语义一致的锚区域并进行姿态-对应优化，实现了密集对应关系的建立。
- 在PartNet-Mobility基准测试中，SemAnCorr达到了90.8%的语义准确率，并显著提升了操作技能转移的可靠性。
📝 摘要（中文）
在机器人学习中，跨越几何差异但功能相似的物体实例进行操作技能转移仍然是一个基本挑战。尽管近期的对应方法利用了密集视觉描述符和3D特征场，但最近邻特征匹配常常产生空间不一致的对应关系，无法恢复可靠技能转移所需的局部几何框架。我们提出了SemAnCorr，这是一种无训练框架，通过联合姿态-对应优化选择语义一致的锚区域，并利用功能映射在物体表面传播这些约束。所得到的对应关系保持了语义一致性和几何一致性，使得物体中心的操作技能能够在几何多样的实例之间转移。我们在基于PartNet-Mobility的密集对应基准上评估了SemAnCorr，达到了90.8%的语义准确率，同时在几何一致性上超越了最近的最先进基线。最后，我们展示了这些改进直接转化为现实世界的操作性能：使用单一演示，SemAnCorr能够比现有对应方法更可靠地进行零-shot操作技能转移。
🔬 方法详解
问题定义：本论文旨在解决在几何差异显著的物体实例之间进行操作技能转移时，现有方法产生的空间不一致对应关系问题。这种不一致性导致无法恢复局部几何框架，从而影响技能转移的可靠性。
核心思路：SemAnCorr的核心思路是通过选择语义一致的锚区域，并结合姿态-对应优化，建立密集的对应关系。这种设计旨在确保所建立的对应关系在语义和几何上都保持一致，从而提高技能转移的有效性。
技术框架：SemAnCorr的整体架构包括两个主要模块：首先是锚区域的选择，通过语义信息确保其一致性；其次是功能映射的传播，确保这些约束在物体表面上得到有效应用。
关键创新：SemAnCorr的主要创新在于其无训练的框架设计，能够在不需要大量标注数据的情况下，实现高效的技能转移。与现有方法相比，它在保持语义一致性和几何一致性方面表现出显著优势。
关键设计：在技术细节上，SemAnCorr采用了特定的损失函数来优化锚区域的选择，并设计了高效的功能映射算法，以确保约束的有效传播。
🖼️ 关键图片
📊 实验亮点
在实验中，SemAnCorr在PartNet-Mobility基准测试中达到了90.8%的语义准确率，相较于现有最先进的基线方法，几何一致性有显著提升。此外，使用单一演示，SemAnCorr在零-shot操作技能转移方面表现出更高的可靠性，显示出其在实际应用中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等。通过实现零-shot操作技能转移，SemAnCorr能够显著降低机器人在新环境中学习的时间和成本，提升其适应能力和灵活性。未来，该技术可能会在智能家居、服务机器人等领域发挥重要作用。
📄 摘要（原文）
Transferring manipulation skills across object instances that share functionality but differ in geometry remains a fundamental challenge in robot learning. While recent correspondence methods leverage dense visual descriptors and 3D feature fields, nearest-neighbor feature matching often produces spatially incoherent correspondences that fail to recover the local geometric frames required for reliable skill transfer. We introduce SemAnCorr, a training-free framework that establishes dense correspondence by selecting semantically consistent anchor regions through joint pose-correspondence optimization and propagating these constraints over the object surface using functional maps. The resulting correspondences preserve both semantic consistency and geometric coherence, enabling object-centric manipulation skills to transfer across geometrically diverse instances. We evaluate SemAnCorr on a dense correspondence benchmark built on PartNet-Mobility, achieving 90.8% semantic accuracy in our benchmark evaluation while improving geometric coherence over recent state-of-the-art baselines. Finally, we show that these improvements translate directly into real-world manipulation performance: using a single demonstration, SemAnCorr enables substantially more reliable zero-shot manipulation skill transfer to previously unseen objects than existing correspondence methods. Videos and additional visualizations are available at https://semancorr.github.io .