From Teleoperation to Long-Horizon Dexterity: Evaluating Visuomotor Skills and Offline Proxies for Dexterous Manipulation
作者: Ammar N. Abbas, Aayush Jain, Prashanth Viswanath, Nivesh Gadipudi, Giulia Vilone, Jim Gibbons
分类: cs.RO, cs.AI, cs.LG, eess.SY
发布日期: 2026-10-29
备注: Accepted at CoRL 2026 Workshop
💡 一句话要点
提出新方法以提升机器人模仿学习的真实世界表现
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模仿学习 机器人操作 真实世界评估 点云处理 视觉-语言-动作 策略优化 动作预测
📋 核心要点
- 现有的模仿学习方法在真实环境中表现不稳定，传统的优化信号无法有效预测成功率。
- 论文通过评估281个模仿学习策略，识别出观察和动作表示对真实表现的关键影响。
- 实验结果显示，特定的表示选择和策略设计显著提升了机器人在插入任务中的成功率。
📝 摘要（中文）
模仿学习策略旨在使机器人操作对物体姿态、外观和环境的变化具有鲁棒性。然而，现实世界中的表现难以预测，传统的优化信号如验证损失与机器人成功之间没有一致关系。为识别影响真实世界表现的设计选择，评估了281个模仿学习策略，涵盖七个策略家族，在约1700次真实机器人试验中进行RJ45连接器的抓取和插入。控制消融实验表明，观察和动作表示在传统优化器和采样选择中占主导地位。对于点云策略，感兴趣区域裁剪、在机器人基坐标系中的表示以及点编码器内的归一化均提高了成功率70-100个百分点。对于视觉-语言-动作策略，绝对而非相对的动作预测将插入成功率提高了最多70个百分点。技能分解、多视角感知和恢复演示与表现最佳的系统相关，尽管其效果未被独立隔离。在评估的67个离线指标中，只有五个运动平滑性和直接性的预测度量与插入成功率可靠相关（r = -0.70到-0.80），且仅在单一策略家族内。这些结果表明表示选择是影响真实世界模仿学习表现的关键因素，并显示离线指标可以筛选策略，但不能替代真实机器人评估。
🔬 方法详解
问题定义：本论文旨在解决模仿学习策略在真实环境中表现不稳定的问题，现有方法的痛点在于传统优化信号与实际成功率之间缺乏一致性。
核心思路：论文通过系统评估不同模仿学习策略，识别出影响真实世界表现的关键设计选择，强调观察和动作表示的重要性。
技术框架：整体架构包括策略评估、控制消融实验和离线指标分析，主要模块涵盖策略设计、实验执行和结果分析。
关键创新：最重要的技术创新在于通过系统化的实验识别出观察和动作表示作为影响真实表现的关键因素，提出了新的评估标准。
关键设计：在点云策略中，采用了感兴趣区域裁剪、机器人基坐标系中的表示和点编码器内的归一化等设计，显著提升了成功率；视觉-语言-动作策略中使用绝对动作预测也提高了插入成功率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，特定的观察和动作表示设计能够将插入任务的成功率提升70-100个百分点，绝对动作预测也能提高成功率70个百分点。67个离线指标中，仅有五个与插入成功率可靠相关，强调了真实机器人评估的重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、插入任务和其他复杂的操控任务，能够为机器人在动态和不确定环境中的自主操作提供理论支持和实践指导。未来，研究成果可能推动更智能的机器人系统的发展，提升其在工业、服务和家庭等多种场景中的应用能力。
📄 摘要（原文）
Imitation learning policies are intended to make robotic manipulation robust to variations in object pose, appearance, and environment that challenge pre-programmed motion. However, real-world performance remains difficult to predict, as conventional optimization signals such as validation loss show no consistent relationship with robot success. To identify the design choices that govern real-world performance, 281 imitation-learning policies spanning seven policy families were evaluated in approximately 1,700 real-robot trials of RJ45 connector grasping and insertion using a five-fingered robotic hand. Controlled ablations showed that observation and action representations dominated conventional optimizer and sampling choices. For point-cloud policies, region-of-interest cropping, representation in the robot-base frame, and normalization within the point encoder each improved success by 70-100 percentage points. For the vision-language-action policy, absolute rather than relative action prediction improved insertion success by up to 70 percentage points. Skill decomposition, multi-view perception, and recovery demonstrations were associated with the strongest-performing systems, although their effects were not independently isolated. Of 67 offline metrics evaluated, only five measures of predicted-motion smoothness and directness reliably correlated with insertion success (r = -0.70 to -0.80), and only within a single policy family. These results identify representation choices as key determinants of real-world imitation-learning performance and show that offline metrics can shortlist policies, but cannot replace real-robot evaluation.