PhotoHOI: Synthesizing 3D Hand-Object Interactions from a Single RGB Photograph
作者: Zhenhao Zhang, Jiajun Zhang, Wei Min, Yebin Liu
分类: cs.CV
发布日期: 2026-08-03
💡 一句话要点
提出PhotoHOI以解决从单张RGB照片合成3D手-物体交互的问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 手-物体交互 3D合成 视觉-语言模型 增强现实 虚拟现实 机器人抓取 开放词汇指令
📋 核心要点
- 现有方法通常依赖于预定义的物体几何和特定条件，限制了其在自然场景中的应用。
- 论文提出PhotoHOI，通过视觉-语言模型解析图像和指令，合成3D手-物体交互序列。
- 实验结果显示，PhotoHOI在接触质量和任务成功率上显著优于现有基线，具有良好的泛化能力。
📝 摘要（中文）
手-物体交互（HOI）是人类基本行为之一，广泛应用于增强现实、虚拟现实、数字人类和具身交互等领域。现有方法通常需要预定义的物体几何形状、物体轨迹或特定任务条件，限制了其在自然现实输入中的应用。为此，本文研究了从单张RGB照片和开放词汇语言指令合成3D手-物体交互序列的实际问题，并提出了PhotoHOI。该方法首先利用视觉-语言模型解析输入图像和指令，生成结构化任务规范，包括交互对象、目标区域和空间关系。然后，基于恢复的物体状态、支撑关系和周围场景几何，恢复紧凑的任务相关3D场景并规划平滑的碰撞感知物体轨迹。通过从大规模的可用性和HOI数据中学习可迁移的任务条件接触和接触条件抓取先验，合成能够推广到真实世界照片和未见物体的手部运动。抓取在学习的潜在空间中进一步优化，限制优化在合理的手势流形上。实验结果表明，PhotoHOI在接触质量和减少穿透方面优于代表性基线，并在真实世界照片上展示了更高的任务成功率和场景一致性，同时对未见物体和开放词汇指令具有良好的泛化能力。
🔬 方法详解
问题定义：本文旨在解决从单张RGB照片合成3D手-物体交互序列的问题。现有方法通常需要预定义的物体几何形状和特定条件，限制了其在自然场景中的应用。
核心思路：论文的核心思路是利用视觉-语言模型解析输入图像和指令，生成结构化的任务规范，并基于此恢复3D场景和规划物体轨迹。这样设计的目的是使得方法能够处理真实世界的输入，增强其适用性。
技术框架：整体架构包括三个主要模块：首先是视觉-语言模型解析输入，生成任务规范；其次是恢复3D场景并规划物体轨迹；最后是合成手部运动并优化抓取姿势。
关键创新：最重要的技术创新在于学习可迁移的任务条件接触和接触条件抓取先验，使得合成的手部运动能够推广到未见物体和真实场景中。与现有方法相比，PhotoHOI不再依赖于固定的物体几何。
关键设计：在技术细节上，论文设计了特定的损失函数以优化抓取姿势，并在学习的潜在空间中进行抓取的进一步优化，确保手势在合理的流形上进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PhotoHOI在GRAB和H2O数据集上实现了更高的接触质量和减少的穿透现象，相较于基线方法，任务成功率显著提高，且在真实世界照片上展示了更好的场景一致性和对未见物体的良好泛化能力。
🎯 应用场景
该研究的潜在应用领域包括增强现实和虚拟现实中的人机交互、数字人类的动画生成以及机器人抓取任务等。通过提供一种灵活的手-物体交互合成方法，PhotoHOI能够在多种实际场景中提升用户体验和交互质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
Hand-object interaction (HOI) is a fundamental human behavior with broad applications in AR/VR, digital humans, and embodied interaction. Existing methods typically require predefined object geometry, object trajectories, or task-specific conditions, limiting their use with natural real-world inputs. To address this, we study a more practical problem of synthesizing 3D hand-object interaction sequences from a single RGB photograph and an open-vocabulary language instruction, and introduce PhotoHOI. PhotoHOI first uses a vision-language model to parse the input image and instruction into a structured task specification, including the interaction object, target region, and spatial relation. It then recovers a compact task-relevant 3D scene and plans a smooth collision-aware object trajectory based on the recovered object states, support relations, and surrounding scene geometry. To synthesize hand motion that generalizes to real-world photographs and unseen objects, it learns transferable task-conditioned contact and contact-conditioned grasp priors from large-scale affordance and HOI data. The grasp is further refined in a learned latent space, constraining the optimization to a plausible hand-pose manifold. Experiments on GRAB and H2O demonstrate improved contact quality and reduced penetration over representative baselines. Results on real-world photographs further demonstrate higher task success and scene consistency, together with generalization to unseen objects and open-vocabulary instructions.