Measuring Object Rotation via Visuo-Tactile Segmentation
作者: Julio Castaño, Pablo Gil
分类: cs.RO
发布日期: 2024-01-18
期刊: IEEE Robotics and Automation Letters, vol. 8, no. 8, pp. 4537-4544, Aug. 2023
DOI: 10.1109/LRA.2023.3285471.
💡 一句话要点
提出基于视觉-触觉分割的物体旋转测量方法以解决机器人抓取中的滑移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人抓取 触觉传感器 视觉-触觉融合 物体旋转估计 深度学习
📋 核心要点
- 现有方法在机器人抓取任务中对物体旋转的监测不足，导致物体因滑移而掉落。
- 本文提出了一种基于视觉-触觉分割的系统，通过神经网络分割接触区域并估计旋转角度。
- 实验结果表明，该方法在最坏情况下Dice和IoU指标分别达到95%和90%，最大误差仅为3度。
📝 摘要（中文）
在机器人操作任务中，物体因滑移导致的旋转可能会导致其掉落。为此，本文通过获取触觉信息来更好地了解抓取的物理特性，从而估计物体在滑移发生时的旋转角度。我们实现了一个由神经网络构成的系统，用于分割接触区域，并通过算法估计该区域的旋转角度。该方法应用于DIGIT触觉传感器，并使用我们公开的数据集进行了训练和测试。该数据集是文献中首个与非合成图像的触觉分割相关的数据集。实验结果显示，在最坏情况下，Dice和IoU指标分别达到了95%和90%，并且在45次不同的抓取测试中，未见过的物体的最大误差为3度。这证明了我们的方法能够检测滑移运动，从而提供防止物体掉落的可能反应。
🔬 方法详解
问题定义：本文旨在解决机器人抓取过程中物体因滑移导致的旋转监测不足的问题。现有方法往往无法有效获取触觉信息，从而无法准确判断物体的旋转状态。
核心思路：论文提出了一种结合视觉和触觉信息的分割方法，通过神经网络对接触区域进行分割，并利用算法估计该区域的旋转角度，以提高抓取的稳定性。
技术框架：整体架构包括数据采集、神经网络训练、接触区域分割和旋转角度估计四个主要模块。首先，通过DIGIT触觉传感器收集数据，然后训练神经网络进行分割，最后通过算法计算旋转角度。
关键创新：最重要的创新点在于首次使用非合成图像数据集进行触觉分割，并在此基础上实现了高精度的旋转角度估计，显著提升了抓取任务的可靠性。
关键设计：在网络结构上，采用了适合触觉数据特征的卷积神经网络，并设计了特定的损失函数以优化分割效果。实验中，使用了大量真实场景数据进行训练，确保模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在最坏情况下Dice和IoU指标分别达到了95%和90%，并且在45次不同的抓取测试中，未见过的物体的最大误差仅为3度。这表明该方法在实际应用中具有很高的准确性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化仓储和智能制造等。通过提高物体旋转监测的准确性，可以显著降低物体掉落的风险，从而提升机器人操作的安全性和效率。未来，该方法还可以扩展到其他需要精确抓取和操作的领域，如医疗机器人和服务机器人等。
📄 摘要（原文）
When carrying out robotic manipulation tasks, objects occasionally fall as a result of the rotation caused by slippage. This can be prevented by obtaining tactile information that provides better knowledge on the physical properties of the grasping. In this paper, we estimate the rotation angle of a grasped object when slippage occurs. We implement a system made up of a neural network with which to segment the contact region and an algorithm with which to estimate the rotated angle of that region. This method is applied to DIGIT tactile sensors. Our system has additionally been trained and tested with our publicly available dataset which is, to the best of our knowledge, the first dataset related to tactile segmentation from non-synthetic images to appear in the literature, and with which we have attained results of 95% and 90% as regards Dice and IoU metrics in the worst scenario. Moreover, we have obtained a maximum error of 3 degrees when testing with objects not previously seen by our system in 45 different lifts. This, therefore, proved that our approach is able to detect the slippage movement, thus providing a possible reaction that will prevent the object from falling.