TextHOI-3D: Text-to-3D Hand-Object Interaction via Discrete Multi-View Generation and Joint Mesh Optimization

📄 arXiv: 2606.11805v1 📥 PDF

作者: Zixiong Hao, Zhencun Jiang

分类: cs.CV, cs.AI

发布日期: 2026-06-10

备注: 11 pages, 8 figures, 3 tables

💡 一句话要点

提出TextHOI-3D以解决手-物体交互的3D生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 3D生成 手-物体交互 多视角观察 几何恢复 文本条件生成

📋 核心要点

  1. 现有方法在生成手-物体交互的3D网格时面临多重挑战，包括保持语言语义和几何一致性。
  2. 论文提出的TextHOI-3D框架通过多视角观察和几何感知恢复，分阶段处理文本条件生成与网格恢复。
  3. 实验结果显示，使用多视角设置，物体CD从17.26mm降至4.92mm，穿透体积从5.3721cm³降至0.2193cm³，显著提升了生成质量。

📝 摘要（中文）

文本条件下的3D生成在图像和孤立物体方面取得了快速进展，但生成手-物体网格仍然具有挑战性：输出必须保持语言语义、一致的视角、物体几何形状、关节手形状以及物理上合理的接触。我们提出了TextHOI-3D，一个分阶段框架，利用生成的多视角观察作为文本条件视觉生成与几何感知手-物体恢复之间的显式接口。TextHOI-3D为固定相机的手-物体观察学习了紧凑的VQ标记空间，通过CLIP条件的视觉自回归模型从文本预测多视角视觉标记，并通过先前初始化、多视角联合优化和反穿透精炼恢复统一的手-物体网格。实验结果表明，多视角设置显著降低了物体的CD和穿透体积，同时提高了手部误差和表面F分数。

🔬 方法详解

问题定义：论文要解决的问题是如何在文本条件下生成手-物体交互的3D网格，现有方法难以同时满足语言语义、一致性和物理合理性等要求。

核心思路：论文的核心思路是将生成过程分为两个阶段：首先生成多视角观察，然后进行几何恢复，这样可以有效地将语义生成与几何恢复分开，同时保持两者的连接。

技术框架：整体架构包括三个主要模块：1) VQ标记空间学习，用于固定相机的手-物体观察；2) CLIP条件的视觉自回归模型，用于从文本生成多视角视觉标记；3) 通过先前初始化和多视角联合优化恢复统一的手-物体网格。

关键创新：最重要的技术创新点在于引入了多视角视觉标记作为中间表示，这一方法显著提高了生成的准确性和一致性，与现有单视图方法相比具有本质区别。

关键设计：在设计中，采用了多视角联合优化和反穿透精炼技术，确保生成的手-物体网格在几何上合理，同时设置了合适的损失函数以平衡语义与几何的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TextHOI-3D在多视角设置下，物体的CD从17.26mm降低至4.92mm，穿透体积从5.3721cm³降至0.2193cm³，手部误差和表面F分数也得到了显著提升，验证了多视角视觉标记作为有效中间表示的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够为这些领域提供更加自然和真实的手-物体交互体验。未来，该技术可能会推动智能机器人和自动化系统在复杂环境中的应用，提升其交互能力和智能水平。

📄 摘要（原文）

Text-conditioned 3D generation has progressed rapidly for images and isolated objects, but producing a hand-object mesh remains challenging: the output must preserve language semantics, cross-view consistency, object geometry, articulated hand shape, and physically plausible contact. We present TextHOI-3D, a staged framework that uses generated multi-view observations as an explicit interface between text-conditioned visual generation and geometry-aware hand-object recovery. TextHOI-3D learns a compact VQ token space for fixed-camera hand-object observations, predicts multi-view visual tokens from text with a CLIP-conditioned visual autoregressive model, and recovers a unified hand-object mesh through prior initialization, multi-view joint optimization, and anti-penetration refinement. The design separates semantic generation from geometric recovery while keeping both stages connected by a discrete multi-view representation. On HO3D-derived evaluations, the multi-view setting reduces object CD from 17.26 mm to 4.92 mm and penetration volume from 5.3721 cm^3 to 0.2193 cm^3 compared with a single-view counterpart, while improving hand errors and surface F-scores. These results support multi-view visual tokens as an effective intermediate representation for text-driven 3D hand-object mesh creation.