PhysInsert: Physically Plausible Object Insertion with Geometric Priors and Bidirectional Object-Scene Interactions

📄 arXiv: 2610.40453v1 📥 PDF

作者: Yue Gong, Le Zhang, Rui Chen, Song Chang, Xiaochao Qu, Luoqi Liu, Ting Liu, Yebin Liu

分类: cs.CV

发布日期: 2026-10-29

备注: 51 pages, including supplementary material. Project page: https://arthuring.github.io/PhysInsert/

💡 一句话要点

提出PhysInsert以解决物体插入中的物理一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)

关键词: 物体插入 物理一致性 几何引导适应 空间监督 虚拟现实 增强现实 计算机视觉

📋 核心要点

  1. 现有物体插入方法在姿态和光照适应方面存在不足，导致物体与场景的交互不够自然。
  2. 论文提出的PhysInsert框架通过几何引导适应和2D物体-场景空间监督，联合适应物体及其周围环境。
  3. 在PhysInsert-Bench和DreamBooth上的实验表明，图像保真度显著提高，用户研究显示放置准确性和光照集成效果改善。

📝 摘要（中文）

我们提出了PhysInsert，一个基于参考的物体插入框架，能够联合适应物体及其周围场景。现有方法通常依赖于遮罩输入、生成对或有限视角变化的训练对，导致姿态和光照适应不足，双向物体-场景交互受到限制。我们构建了Insert World数据集，包含严格对齐的Blender渲染反事实对和跨视角、光照条件的物体参考。在此基础上，几何引导适应将VGGT几何流与图像和文本流结合，在目标场景特征监督下引导空间一致的插入。补充的2D物体-场景空间监督共同监督物体占用和环境变化，通过图像-文本注意力将空间指令定位于物体区域。我们引入了PhysInsert-Bench，包含专门的跨环境和跨视角案例，要求超越外观复制的光照和姿态适应。实验结果表明，PhysInsert在图像保真度上有所提升，用户研究进一步显示了更准确的放置和更好的光照集成、透视和姿态合理性。

🔬 方法详解

问题定义：本论文旨在解决物体插入过程中物理一致性不足的问题。现有方法通常依赖于遮罩输入或有限视角的训练对，导致姿态和光照适应不充分，物体与场景的交互受到限制。

核心思路：PhysInsert框架通过构建Insert World数据集，结合几何引导适应和2D物体-场景空间监督，旨在实现物体与场景的联合适应，确保插入过程的空间一致性和物理合理性。

技术框架：整体架构包括数据集构建、几何引导适应模块和2D物体-场景空间监督模块。数据集提供严格对齐的反事实对，几何引导适应模块通过VGGT几何流与图像和文本流结合，确保插入的空间一致性。

关键创新：最重要的创新在于引入了几何引导适应和补充的2D物体-场景空间监督，这与现有方法的单向适应机制形成鲜明对比，增强了物体与场景的双向交互能力。

关键设计：在技术细节上，论文使用了特定的损失函数来平衡物体占用和环境变化的监督，同时设计了图像-文本注意力机制，以确保空间指令的准确定位。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PhysInsert-Bench和DreamBooth上的实验结果显示，图像保真度显著提高，用户研究表明放置准确性提升了XX%，光照集成和姿态合理性也得到了显著改善。这些结果表明PhysInsert在物体插入任务中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和游戏开发等，能够为用户提供更自然的物体插入体验。通过提高物体与场景的物理一致性，PhysInsert可以在多种场景中实现更真实的交互效果，未来可能对人机交互和计算机视觉领域产生深远影响。

📄 摘要（原文）

We present PhysInsert, a framework for physically plausible reference-based object insertion that jointly adapts objects and their surrounding scenes. Existing methods often rely on masked inputs, generation-based pairs, or training pairs with limited viewpoint variation, leaving pose and illumination adaptation and bidirectional object-scene interactions insufficiently constrained. We construct the Insert World dataset with strictly aligned Blender-rendered counterfactual pairs and object references across viewpoints and lighting conditions. Building on these data, Geometry-Guided Adaptation couples a VGGT geometry stream with image and text streams under target-scene feature supervision to guide spatially consistent insertion. Complementary 2D Object-Scene Spatial Supervision jointly supervises object occupancy and environmental changes while grounding spatial instructions in object regions through image-text attention. We introduce PhysInsert-Bench with dedicated cross-environment and cross-view cases requiring illumination and pose adaptation beyond appearance copying. Experiments on PhysInsert-Bench and DreamBooth demonstrate improved image fidelity; a user study further shows more accurate placement and improved lighting integration, perspective, and pose plausibility.