Fast Explicit-Input Assistance for Teleoperation in Clutter

📄 arXiv: 2402.02612v3 📥 PDF

作者: Nick Walker, Xuning Yang, Animesh Garg, Maya Cakmak, Dieter Fox, Claudia Pérez-D'Arpino

分类: cs.RO

发布日期: 2024-02-04 (更新: 2024-10-07)

🔗 代码/项目: GITHUB

💡 一句话要点

提出显式输入辅助以解决机器人遥操作中的混乱问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人遥操作 显式输入 用户体验 姿态优化 人机协作

📋 核心要点

  1. 现有的基于预测的遥操作辅助方法在复杂环境中表现不佳，导致操作员困惑和控制输入不稳定。
  2. 本文提出了一种显式输入的辅助界面，允许操作员通过指向明确传达操作目标，从而优化抓取和放置姿态。
  3. 实验结果表明，显式界面相比隐式推断方法，操作员的抓取失败率降低，认知负担减轻，整体体验更佳。

📝 摘要（中文）

在机器人遥操作中，基于预测的辅助方法在未知或目标丰富的环境中表现不佳，主要由于意图推断的不准确或快速变化。错误的预测可能会使操作员感到困惑，甚至导致他们改变控制输入以隐式传达目标。本文提出了一种新的机器人操作辅助界面，允许操作员通过指向末端执行器明确传达操作目标。指向目标指定了一个区域，用于局部姿态生成和优化，从而提供对抓取和放置姿态候选的交互控制。通过在拥挤环境中进行的用户研究（N=20），我们发现操作员更喜欢显式界面，经历的抓取失败更少，认知负担更低。

🔬 方法详解

问题定义：本文旨在解决在复杂和未知环境中，基于预测的遥操作辅助方法因意图推断不准确而导致的操作员困惑和控制输入不稳定的问题。

核心思路：提出一种显式输入的辅助界面，允许操作员通过指向末端执行器明确传达其操作目标，从而提高抓取和放置的准确性和效率。

技术框架：该方法包括一个用户界面，操作员通过指向目标区域来指定操作意图，系统根据该指向生成局部姿态候选，并进行优化。主要模块包括用户输入处理、姿态生成和优化模块。

关键创新：最重要的创新在于显式输入的设计，使操作员能够直接指定目标区域，避免了基于推断的模糊性，从而显著提高了操作的准确性和用户体验。

关键设计：在设计中，系统采用了实时的姿态生成算法，结合用户的指向信息进行局部优化，确保抓取和放置的姿态候选符合操作员的意图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用显式输入辅助的操作员在抓取任务中失败率降低了显著比例，认知负担也明显减轻。与隐式推断方法相比，操作员对显式界面的偏好度更高，表明该方法在用户体验上具有明显优势。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人以及任何需要人机协作的领域。通过提高遥操作的准确性和用户体验，能够在复杂环境中实现更高效的任务完成，具有显著的实际价值和未来影响。

📄 摘要（原文）

The performance of prediction-based assistance for robot teleoperation degrades in unseen or goal-rich environments due to incorrect or quickly-changing intent inferences. Poor predictions can confuse operators or cause them to change their control input to implicitly signal their goal. We present a new assistance interface for robotic manipulation where an operator can explicitly communicate a manipulation goal by pointing the end-effector. The pointing target specifies a region for local pose generation and optimization, providing interactive control over grasp and placement pose candidates. We compare the explicit pointing interface to an implicit inference-based assistance scheme in a within-subjects user study (N=20) where participants teleoperate a simulated robot to complete a multi-step singulation and stacking task in cluttered environments. We find that operators prefer the explicit interface, experience fewer pick failures and report lower cognitive workload. Our code is available at: https://github.com/NVlabs/fast-explicit-teleop