DyCraft: An Agentic System for Long-Horizon 4D Scene Generation

📄 arXiv: 2610.40754v1 📥 PDF

作者: Jeff Tan, Hang Dai, Zeqian Long, Yanzhe Lyu, R. Kenny Jones, Shangzhe Wu, Chen Geng, Jiajun Wu

分类: cs.CV

发布日期: 2026-10-29

备注: Project page: https://dy-craft.github.io/

💡 一句话要点

提出DyCraft以解决长时间动画生成中的物理不一致问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)

关键词: 长时间动画生成 3D故事板 物理一致性 运动创作工具 编码代理

📋 核心要点

  1. 现有的编码代理在生成长时间动画时，常常出现物理不一致的问题，导致输出质量低下。
  2. DyCraft通过将动画过程分解为多个步骤，采用3D故事板的方式，使得编码代理能够逐步构建和调试动画。
  3. 在与Codex中的原生GPT-6代理及其他基线的比较中，DyCraft显著减少了物理违规，生成的动画场景更受人类评审者的青睐。

📝 摘要（中文）

尽管现有的前沿编码代理能够生成高质量的3D场景和关节资产，但在创建连贯的长时间动画时却面临困难。使用通用工具时，它们常常生成物理上不合理的输出，如物体相互穿透、缺乏物理支撑或运动不自然。DyCraft系统通过将动画分解为多个步骤，使编码代理能够更可靠地解决问题。该系统首先将用户的提示扩展为详细计划并构建静态场景，然后创建关键动画姿势的3D故事板，使代理能够在局部之间进行运动创作。实验结果表明，DyCraft在24个长时间、多镜头动画任务中显著减少了物理违规，并生成了更高质量的动画3D场景。

🔬 方法详解

问题定义：论文旨在解决现有编码代理在生成长时间动画时的物理不一致性问题。现有方法通常在一次性脚本化整个动画时，难以验证和处理复杂的时空约束，导致输出质量低下。

核心思路：DyCraft的核心思路是借鉴人类动画师的实践，将动画过程分解为多个可管理的步骤。通过创建详细的计划和3D故事板，代理可以在局部状态之间进行运动创作，从而提高生成的可靠性和质量。

技术框架：DyCraft的整体架构包括三个主要模块：用户提示扩展、静态场景构建和3D故事板生成。首先，系统将用户的输入转化为详细的动画计划，然后构建静态场景，最后生成关键姿势的故事板，供代理逐步实现。

关键创新：DyCraft的主要创新在于其将动画分解为局部运动的方式，允许代理在每个步骤中进行调试和验证。这种方法与现有的全局动画生成方法本质上不同，显著提高了生成的物理合理性。

关键设计：在设计中，DyCraft采用了一系列运动创作工具，允许代理在验证的起始和结束状态之间进行局部运动创作。具体的参数设置和损失函数设计尚未详细披露，可能是未知的。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DyCraft在24个长时间、多镜头动画任务中的实验结果显示，相较于Codex中的原生GPT-6代理，物理违规显著减少，生成的动画3D场景质量更高，且更受人类评审者的偏好，表明其在动画生成领域的有效性和优势。

🎯 应用场景

DyCraft的研究成果在动画制作、游戏开发和虚拟现实等领域具有广泛的应用潜力。通过提高动画生成的物理合理性和质量，该系统能够帮助创作者更高效地制作出更具沉浸感和真实感的动画内容，推动相关行业的发展。

📄 摘要（原文）

While frontier coding agents can generate high-quality 3D scenes and articulated assets, they struggle to create coherent long-horizon animations. When equipped with general-purpose harnesses, they frequently produce physically implausible outputs, generating objects that interpenetrate, lack physical support, or move unnaturally. Such bare agents struggle to repair these errors because they default to scripting the full animation in one pass, making it difficult to verify their work and disentangle complex spatiotemporal constraints. Drawing on the practice of human animators, we introduce DyCraft, a system for animated 3D scene generation that breaks animation into steps that coding agents can more reliably solve. DyCraft first expands the user's prompt into a detailed plan and builds a static scene. It then creates a 3D storyboard of key animation poses, where each frame is a static 3D scene that the agent can build and debug in isolation. Storyboarding decomposes the problem into pairs of verified start and end states, allowing the agent to author local motion between them with a collection of motion authoring tools. We evaluate DyCraft on 24 long-horizon, multi-shot animation tasks covering humanoid robots, human and animal characters, and physical mechanisms. Compared with a native GPT-6 agent in Codex and prior agentic baselines, DyCraft substantially reduces physical violations and generates higher-quality animated 3D scenes that are more often preferred by human raters.