VR-based generation of photorealistic synthetic data for training hand-object tracking models

📄 arXiv: 2401.17874v2 📥 PDF

作者: Chengyan Zhang, Rahul Chaudhari

分类: cs.CV

发布日期: 2024-01-31 (更新: 2024-02-02)

💡 一句话要点

提出blender-hoisynth以解决手-物体交互数据标注不足问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 手-物体交互 合成数据 虚拟现实 数据标注 深度学习

📋 核心要点

  1. 现有的手-物体交互模型需要大量标注数据，而非专家在2D图像上标注3D数据的难度较大。
  2. 本文提出的blender-hoisynth允许用户通过虚拟现实硬件与对象交互，生成高质量的合成HOI数据。
  3. 实验结果显示，使用合成数据替换DexYCB数据集中的部分数据后，模型性能保持稳定，未出现显著下降。

📝 摘要（中文）

针对3D手-物体交互（HOI）精确跟踪模型所需的大量标注数据，本文提出了基于Blender软件的交互式合成数据生成器blender-hoisynth。该工具能够可扩展地生成并自动标注视觉HOI训练数据，解决了非专家在2D图像上标注3D真实数据（如6DoF物体姿态）的直观性问题。用户可以通过虚拟现实硬件与对象进行交互，生成的合成数据具有高度的真实感，包含手抓取和移动物体的视觉上合理且物理上真实的视频。实验表明，使用合成数据替换知名DexYCB数据集的大部分训练数据后，模型性能没有显著下降。

🔬 方法详解

问题定义：本文旨在解决手-物体交互（HOI）模型训练中对大量标注数据的需求，现有方法通常缺乏用户交互，导致生成的数据无法充分表达人类意图。

核心思路：blender-hoisynth通过虚拟现实技术使用户能够与对象进行交互，从而生成具有真实感的合成数据，确保数据的标注符合实际应用需求。

技术框架：该系统基于Blender软件，包含数据生成、自动标注和用户交互三个主要模块。用户通过VR设备与虚拟对象互动，系统实时生成合成数据并进行标注。

关键创新：blender-hoisynth的最大创新在于允许用户直接控制合成数据的生成过程，这与传统的完全自动化生成方法形成鲜明对比，确保了数据的真实性和适用性。

关键设计：系统设计中，用户交互的流畅性和合成数据的真实感是关键考虑因素，采用了高效的渲染技术和物理模拟，以确保生成视频的视觉和物理合理性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用blender-hoisynth生成的合成数据替换DexYCB数据集中的部分训练数据后，模型性能未出现显著下降，验证了合成数据的有效性和实用性。这一发现为HOI模型的训练提供了新的思路和方法。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、虚拟现实交互和增强现实等场景。通过提供高质量的合成数据，blender-hoisynth能够显著降低数据标注成本，提高HOI模型的训练效率，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Supervised learning models for precise tracking of hand-object interactions (HOI) in 3D require large amounts of annotated data for training. Moreover, it is not intuitive for non-experts to label 3D ground truth (e.g. 6DoF object pose) on 2D images. To address these issues, we present "blender-hoisynth", an interactive synthetic data generator based on the Blender software. Blender-hoisynth can scalably generate and automatically annotate visual HOI training data. Other competing approaches usually generate synthetic HOI data compeletely without human input. While this may be beneficial in some scenarios, HOI applications inherently necessitate direct control over the HOIs as an expression of human intent. With blender-hoisynth, it is possible for users to interact with objects via virtual hands using standard Virtual Reality hardware. The synthetically generated data are characterized by a high degree of photorealism and contain visually plausible and physically realistic videos of hands grasping objects and moving them around in 3D. To demonstrate the efficacy of our data generation, we replace large parts of the training data in the well-known DexYCB dataset with hoisynth data and train a state-of-the-art HOI reconstruction model with it. We show that there is no significant degradation in the model performance despite the data replacement.