Learning to Code the World: Harness Evolution for Compositional 3D Reconstruction

📄 arXiv: 2610.37046v1 📥 PDF

作者: Haoyu Yao, Chenguo Lin, Ruize Du, Yadong Mu

分类: cs.CV

发布日期: 2026-10-27

备注: Project page: https://haoyu-agent.github.io/SceneEvolve

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SceneEvolve以解决可编辑3D场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D重建 可编辑场景 组合语义 演化学习 深度学习 计算机视觉 虚拟现实

📋 核心要点

  1. 现有方法在从真实图像重建可编辑3D场景时，难以同时处理几何、物体结构和空间关系。
  2. 论文提出的SceneEvolve框架通过将3D场景表示为可执行代码，利用演化过程改善重建效果。
  3. 实验结果显示，SceneEvolve在重建质量上比大型模型提升32.3%，同时减少了59.8%的部署成本。

📝 摘要（中文）

重建可编辑和组合的3D场景需要同时考虑几何、物体结构和空间关系。我们提出了SceneEvolve框架，将3D场景表示为可执行代码，并通过围绕小型开源代理的演化来改善重建效果。SceneEvolve结合了基于参数化原语、层次组合和语义空间关系的组合语义动作接口SceneAct，以及利用更强教师代理的SceneHarness-RSI，后者通过开发集重建的反馈迭代演化。在整个演化过程中，模型参数、动作语义和执行后端保持不变。最终的框架提供了一种可重用的重建过程，使得小型开源模型能够在没有参数更新或教师辅助的情况下重建未见场景。在两个领域内数据集和一个领域外数据集上，SceneEvolve在所有四个评估重建指标上均有所提升，同时相较于基础模型减少了47.0%的平均推理时间。

🔬 方法详解

问题定义：本论文旨在解决从真实图像重建可编辑和组合的3D场景的挑战。现有方法在处理几何、物体结构和空间关系时存在不足，导致重建效果不理想。

核心思路：论文的核心思路是将3D场景表示为可执行代码，并通过演化过程优化重建框架。这样设计的目的是为了提高重建的灵活性和准确性，同时减少对大型模型的依赖。

技术框架：整体架构包括两个主要模块：SceneAct和SceneHarness-RSI。SceneAct提供组合语义动作接口，而SceneHarness-RSI则利用教师代理的反馈进行迭代演化。

关键创新：最重要的技术创新在于将3D场景表示为可执行代码，并通过演化过程优化重建框架，使得小型模型能够在没有参数更新的情况下重建未见场景。与现有方法相比，这种方法显著提高了重建质量和效率。

关键设计：在设计中，模型参数和执行后端保持固定，确保演化过程的稳定性。损失函数和网络结构的选择也经过精心设计，以支持组合语义动作的有效执行。具体的参数设置和技术细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用较小的Qwen3.8-27B模型，SceneEvolve在重建质量上比大型GPT-5.6-Sol模型提高了32.3%，同时平均推理时间减少了47.0%。此外，演化后的框架在Kimi-K3数据集上也表现出与GPT-6-Astra相当的重建性能，显示出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和建筑设计等。通过提供高质量的3D场景重建，SceneEvolve能够显著提升这些领域中的内容创作效率和质量。未来，该技术可能会推动更广泛的3D内容生成和交互应用的发展。

📄 摘要（原文）

Reconstructing editable and compositional 3D scenes from a real image requires jointly reasoning about geometry, object structure, and spatial relationships. We introduce SceneEvolve, a framework that represents 3D scenes as executable code and improves reconstruction by evolving the harness around a small open-source agent. SceneEvolve combines SceneAct, a compositional semantic action interface built on parameterized primitives, hierarchical composition, and semantic spatial relations, with SceneHarness-RSI, which leverages a stronger teacher agent to iteratively evolve the harness using feedback from development-set reconstructions. Throughout harness evolution, the model parameters, action semantics, and execution backend remain fixed. The resulting harness provides a reusable reconstruction procedure that enables the small open-source model to reconstruct unseen scenes without parameter updates or teacher assistance. Across two in-domain datasets and one out-of-domain dataset, SceneEvolve with the comparatively compact Qwen3.8-27B model improves all four evaluated reconstruction metrics while reducing mean inference time by 47.0% relative to the base model. More notably, despite relying on a substantially smaller model, SceneEvolve achieves 32.3% higher reconstruction quality than the large proprietary GPT-5.6-Sol model, while reducing mean equivalent deployment cost by 59.8%. Furthermore, the harness evolved using Qwen3.8-27B also generalizes to Kimi-K3, achieving comparable reconstruction performance to GPT-6-Astra. The project page is https://haoyu-agent.github.io/SceneEvolve.