ScIntBench: Physical Interaction Plausibility in 3D Scene Generation
作者: Wendi Ying, Daochang Liu, Leonid Sigal, Ajmal Saeed Mian
分类: cs.CV
发布日期: 2026-10-27
💡 一句话要点
提出ScIntBench以解决3D场景生成中的交互可靠性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 3D场景生成 物理交互 动态评估 虚拟现实 机器人操作 场景生成系统 交互准备性
📋 核心要点
- 现有方法在评估3D场景生成时，未能充分考虑交互时的物理可靠性，导致生成的场景无法支持有效的交互。
- 本文提出ScIntBench基准，通过执行物理模拟中的操作并评估交互成功率，填补了现有评估的空白。
- 实验结果表明，尽管某些系统在静态物理上表现良好，但在交互准备性上却存在显著不足，揭示了生成交互场景的两大挑战。
📝 摘要（中文）
现有的文本条件3D室内场景生成评估主要强调语义准确性和静态物理有效性，而对交互时的物理可靠性评估不足。为了解决这一问题，本文提出了ScIntBench，这是一个以交互准备为中心的统一基准，执行指定的操作（如推、开、表面探测）并测量任务成功率、能力和进展、交互后完整性及动态合理性。通过对12个最先进场景生成系统在10种房间类型上的系统评估，结果显示强大的语义和静态物理性能并不一定能转化为交互准备性，甚至最佳系统的任务成功率也仅为36.92%。
🔬 方法详解
问题定义：本文旨在解决现有3D场景生成方法在交互时物理可靠性不足的问题。现有方法主要关注静态物理有效性，忽视了动态交互的需求，导致生成的场景无法支持有效的操作。
核心思路：论文提出ScIntBench基准，通过执行物理模拟中的交互操作，评估场景的交互准备性，强调在动态环境下的物理行为可靠性。这样的设计旨在提供更全面的评估标准，确保生成的场景能够支持真实的物理交互。
技术框架：ScIntBench的整体架构包括多个模块：首先是场景生成模块，生成不同类型的室内场景；其次是物理模拟模块，执行指定的交互操作；最后是评估模块，测量任务成功率、交互能力和动态合理性等指标。
关键创新：最重要的技术创新在于引入了交互准备性评估标准，系统性地评估了12个场景生成系统在交互能力上的表现。这一方法与传统的静态评估方法本质上不同，能够更好地反映场景在动态交互中的表现。
关键设计：在实验中，设置了多种交互任务，并设计了相应的评估指标，如任务成功率和交互后完整性。通过对比不同系统的表现，揭示了在交互准备性方面的显著差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管某些系统在静态物理上表现优异，但在交互准备性方面却存在显著不足。例如，某系统的静态合理性接近完美，但其交互成功率仅为11.54%。整体来看，12个系统中有7个无法支持任何交互，最佳系统的任务成功率也仅为36.92%。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏设计和机器人操作等。通过生成能够支持有效交互的3D场景，能够提升用户体验和系统的实用性，未来可能对智能家居、教育培训等领域产生深远影响。
📄 摘要（原文）
Existing evaluations of text-conditioned 3D indoor scene generation largely emphasize semantic fidelity and physical validity at rest, leaving interaction-time physical reliability insufficiently assessed. To address this gap, we introduce ScIntBench, a unified benchmark centered on interaction readiness: it executes prescribed manipulation actions (e.g., pushing, opening, and surface probing) in physics simulation and measures task success, capability and progress, post-interaction integrity, and dynamic plausibility. Multi-view semantic and static physical evaluations complement these metrics and help explain interaction outcomes. We systematically evaluate 12 state-of-the-art scene generation systems across 10 room types. Our results reveal that strong semantic and static physical performance does not necessarily translate into interaction readiness: a system with near-perfect static plausibility completes only 11.54% of interactions, 7 of the 12 systems produce scenes that cannot support any interaction, and even the best system succeeds in only 36.92% of prescribed tasks. These findings highlight two fundamental challenges in generating interaction-ready scenes: providing the necessary physical interaction capabilities and ensuring reliable physical behavior under active manipulation.