SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty

📄 arXiv: 2603.05111v1 📥 PDF

作者: Jongseok Lee, Ribin Balachandran, Harsimran Singh, Jianxiang Feng, Hrishik Mishra, Marco De Stefano, Rudolph Triebel, Alin Albu-Schaeffer, Konstantin Kondak

分类: cs.RO, cs.AI

发布日期: 2026-03-05

备注: 19 pages, 14 figures

💡 一句话要点

提出基于深度学习不确定性的感知共享自主控制方法，用于提升机器人操作的鲁棒性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 感知共享自主 深度学习不确定性 机器人操作 点云配准 神经正切核 触觉遥操作 空中操作

📋 核心要点

  1. 深度学习在机器人感知中应用广泛，但其鲁棒性不足和可解释性差限制了其在安全关键场景中的应用。
  2. 论文提出“感知共享自主”概念，利用深度学习不确定性估计调节自主程度，融合半自主操作和触觉遥操作。
  3. 通过用户研究和模拟工业场景验证，SPIRIT系统在空中操作任务中表现出可靠性，并提高了操作性能。

📝 摘要（中文）

深度学习(DL)在机器人感知方面取得了显著进展，但其鲁棒性有限和缺乏可解释性阻碍了其在安全关键应用中的可靠部署。本文提出了一种名为“感知共享自主”的概念，其中来自基于DL的感知的不确定性估计被用于调节自主程度。具体而言，当机器人的感知具有高置信度时，启用半自主操作以提高性能；当不确定性增加时，控制过渡到触觉遥操作以保持鲁棒性。通过这种方式，高性能但不可解释的DL方法可以安全地集成到机器人系统中。一个关键的技术推动因素是基于神经正切核(NTK)的不确定性感知DL点云配准方法。通过对15名参与者的用户研究和模拟工业场景的实现，我们在具有挑战性的空中操作任务上评估了感知共享自主，证明了尽管基于DL的感知存在失败，机器人操作仍然可靠。由此产生的系统SPIRIT提高了操作性能和系统可靠性。SPIRIT入围了一项主要的工业创新奖。

🔬 方法详解

问题定义：现有机器人操作方法在依赖深度学习感知时，面临鲁棒性不足的问题。深度学习模型在面对噪声、遮挡等情况时，输出结果的不确定性较高，导致机器人操作失败。现有方法难以有效利用深度学习感知结果中的不确定性信息，从而限制了机器人在复杂环境中的应用。

核心思路：论文的核心思路是利用深度学习感知结果中的不确定性信息，动态调节机器人的自主程度。当感知结果置信度高时，采用半自主操作以提高效率；当感知结果不确定性高时，切换到触觉遥操作以保证安全。这种“感知共享自主”策略能够充分利用深度学习的优势，同时避免其潜在的风险。

技术框架：SPIRIT系统的整体框架包含以下几个主要模块：1) 基于深度学习的点云配准模块，用于估计目标物体的位置和姿态；2) 不确定性估计模块，用于评估点云配准结果的置信度；3) 自主程度调节模块，根据不确定性估计结果动态调整机器人的自主程度；4) 半自主操作模块，在感知置信度高时执行预定义的任务；5) 触觉遥操作模块，在感知不确定性高时允许人工干预。

关键创新：论文的关键创新在于提出了一种基于神经正切核(NTK)的不确定性感知深度学习点云配准方法。该方法能够有效估计点云配准结果的不确定性，并将其用于调节机器人的自主程度。与传统的点云配准方法相比，该方法具有更高的鲁棒性和更准确的不确定性估计。

关键设计：在点云配准模块中，论文采用了一种基于深度学习的特征提取网络，用于提取点云的局部特征。然后，利用神经正切核(NTK)计算点云之间的相似度，并估计配准结果的不确定性。自主程度调节模块采用了一种基于模糊逻辑的控制策略，根据不确定性估计结果动态调整机器人的自主程度。半自主操作模块采用了一种基于运动规划的控制方法，根据目标物体的位置和姿态生成机器人的运动轨迹。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPIRIT系统在空中操作任务中表现出良好的鲁棒性和可靠性。与传统的遥操作方法相比，SPIRIT系统能够显著提高操作效率。用户研究表明，参与者对SPIRIT系统的操作体验评价较高，认为其易于使用且安全可靠。此外，SPIRIT系统还入围了一项主要的工业创新奖，证明了其在实际应用中的潜力。

🎯 应用场景

该研究成果可应用于各种需要高鲁棒性和安全性的机器人操作场景，例如工业自动化、医疗机器人、灾难救援等。通过感知共享自主，机器人能够在复杂和不确定的环境中可靠地完成任务，提高生产效率和安全性。未来，该方法有望推广到其他类型的机器人感知任务中，例如目标检测、语义分割等。

📄 摘要（原文）

Deep learning (DL) has enabled impressive advances in robotic perception, yet its limited robustness and lack of interpretability hinder reliable deployment in safety critical applications. We propose a concept termed perceptive shared autonomy, in which uncertainty estimates from DL based perception are used to regulate the level of autonomy. Specifically, when the robot's perception is confident, semi-autonomous manipulation is enabled to improve performance; when uncertainty increases, control transitions to haptic teleoperation for maintaining robustness. In this way, high-performing but uninterpretable DL methods can be integrated safely into robotic systems. A key technical enabler is an uncertainty aware DL based point cloud registration approach based on the so called Neural Tangent Kernels (NTK). We evaluate perceptive shared autonomy on challenging aerial manipulation tasks through a user study of 15 participants and realization of mock-up industrial scenarios, demonstrating reliable robotic manipulation despite failures in DL based perception. The resulting system, named SPIRIT, improves both manipulation performance and system reliability. SPIRIT was selected as a finalist of a major industrial innovation award.