RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface Normal Estimation and Manipulation

📄 arXiv: 2311.12398v2 📥 PDF

作者: Tutian Tang, Jiyu Liu, Jieyi Zhang, Haoyuan Fu, Wenqiang Xu, Cewu Lu

分类: cs.CV, cs.RO

发布日期: 2023-11-21 (更新: 2024-02-08)

DOI: 10.1109/LRA.2024.3364837

💡 一句话要点

提出RFTrans以解决透明物体表面法线估计与操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)

关键词: 透明物体 表面法线估计 折射流 机器人操控 深度学习 合成数据集 光学特性

📋 核心要点

  1. 透明物体的反射和折射特性使得现有深度相机难以准确测量其几何形状，给机器人操控带来挑战。
  2. RFTrans方法通过折射流作为中间表示，结合RFNet和F2Net，解决了透明物体的表面法线估计和操控问题。
  3. 在合成和真实世界的实验中，RFTrans方法表现出色，成功率达到83%，显著提升了机器人对透明物体的操控能力。

📝 摘要（中文）

透明物体在日常生活中广泛使用，因此教会机器人与其互动变得尤为重要。然而，由于反射和折射效应，深度相机难以提供准确的几何测量。为了解决这一问题，本文提出了一种基于RGB-D的RFTrans方法，通过利用折射流作为中间表示，避免了直接从图像预测几何（如表面法线）的缺陷，并帮助缩小模拟与现实之间的差距。该方法集成了RFNet和F2Net，前者预测折射流、物体掩膜和边界，后者则从折射流中估计表面法线。实验结果表明，该方法在合成和真实世界基准测试中均显著优于基线方法，并在真实机器人抓取任务中实现了83%的成功率。

🔬 方法详解

问题定义：本文旨在解决透明物体的表面法线估计与操控问题。现有方法在处理透明物体时，由于反射和折射效应，深度相机无法提供准确的几何测量，导致机器人在操控时面临困难。

核心思路：RFTrans方法通过引入折射流作为中间表示，避免了直接从图像中预测几何形状的缺陷。这一设计使得方法能够更好地捕捉透明物体的几何特征，并有效缩小模拟与现实之间的差距。

技术框架：RFTrans整体架构包括三个主要模块：RFNet用于预测折射流、物体掩膜和边界，F2Net用于从折射流中估计表面法线，最后通过全局优化模块对原始深度进行精细化处理，构建包含法线的点云。

关键创新：RFTrans的核心创新在于利用折射流作为中间表示，这一方法与现有直接预测几何形状的技术有本质区别，能够更有效地处理透明物体的复杂光学特性。

关键设计：在网络结构上，RFNet和F2Net的设计考虑了折射流的特性，采用了特定的损失函数以优化预测精度。此外，合成数据集的构建采用了物理上合理的光线追踪渲染技术，为网络训练提供了高质量的数据支持。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RFTrans在合成和真实世界基准测试中均显著优于基线方法，尤其在真实机器人抓取任务中实现了83%的成功率，证明了折射流在模拟到现实转移中的有效性。

🎯 应用场景

RFTrans方法的潜在应用领域包括机器人抓取、自动化装配和智能家居等场景，尤其是在处理透明物体时具有显著优势。该研究的实际价值在于提升机器人对复杂物体的操控能力，未来可能推动更多智能机器人在日常生活中的应用。

📄 摘要（原文）

Transparent objects are widely used in our daily lives, making it important to teach robots to interact with them. However, it's not easy because the reflective and refractive effects can make depth cameras fail to give accurate geometry measurements. To solve this problem, this paper introduces RFTrans, an RGB-D-based method for surface normal estimation and manipulation of transparent objects. By leveraging refractive flow as an intermediate representation, the proposed method circumvents the drawbacks of directly predicting the geometry (e.g. surface normal) from images and helps bridge the sim-to-real gap. It integrates the RFNet, which predicts refractive flow, object mask, and boundaries, followed by the F2Net, which estimates surface normal from the refractive flow. To make manipulation possible, a global optimization module will take in the predictions, refine the raw depth, and construct the point cloud with normal. An off-the-shelf analytical grasp planning algorithm is followed to generate the grasp poses. We build a synthetic dataset with physically plausible ray-tracing rendering techniques to train the networks. Results show that the proposed method trained on the synthetic dataset can consistently outperform the baseline method in both synthetic and real-world benchmarks by a large margin. Finally, a real-world robot grasping task witnesses an 83% success rate, proving that refractive flow can help enable direct sim-to-real transfer. The code, data, and supplementary materials are available at https://rftrans.robotflow.ai.