Hy-Nomas: Towards Free-form Interactive World Generation
作者: Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian, Heng Wang, Weizhi Wang, Xiyao Wang, Xilun Wu, Mingyu Yang, Yangbin Yu, Rui Zhao, Longjun Cao, Linghao Chen, Haoyi Duan, Jiaming Han, Mingji Han, Enhua Jiang, Shunkai Li, Yanzhe Liang, Qinwei Ma, Cong Wang, Lei Wang, Bing Wu, Ke Xing, Ray Ying, Zhentao Yu, Key Zhang, Yuan Zhou, Zhengguang Zhou, Kai Zou
分类: cs.CV
发布日期: 2026-10-27
备注: Technical Report
💡 一句话要点
提出Hy-Nomas以解决交互式世界生成中的历史信息保持问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交互式世界生成 扩散模型 因果注意力 多模态交互 视频理解 用户体验 模型蒸馏
📋 核心要点
- 现有的交互式世界生成模型在保持历史信息和执行多轮指令时存在困难，导致生成的内容缺乏连贯性和一致性。
- Hy-Nomas通过引入8B扩散骨干和视觉-语言提示增强器，支持自由形式的文本指令和连续相机控制，提升了模型的交互能力。
- 在实验中，Hy-Nomas在与现有世界模型的对比中表现出显著的性能提升，尤其是在生成内容的连贯性和用户交互体验上。
📝 摘要（中文）
交互式世界生成要求模型在遵循连续指令的同时，保持相关历史和行动后果。我们提出了Hy-Nomas，这是一种具有8B扩散骨干的视视频世界模型，支持自由形式的文本指令和多轮交互中的连续相机控制。该模型根据当前输入和缓存历史生成可变长度的片段。我们的设计将结构化视频标题与动作感知因果注意力对齐：描述性上下文在片段间保持可访问，而动作指令则限制在其预期的时间窗口内。我们还引入了视觉-语言提示增强器，将用户请求和多模态交互历史转化为下一个片段的结构化条件。通过多阶段课程逐步引入因果生成、文本交互、相机控制和基于模型生成历史的训练，最后进行扩散蒸馏。在人类评估中，Hy-Nomas表现优于现有世界模型。我们发布了模型权重、代码和基准，以及轻量级适配工作流，以支持交互式世界生成的可重复研究。
🔬 方法详解
问题定义：本论文旨在解决交互式世界生成中，模型如何在遵循用户指令的同时保持历史信息和行动后果的问题。现有方法在多轮交互中往往无法有效管理和利用历史信息，导致生成内容的连贯性不足。
核心思路：Hy-Nomas的核心思路是通过结构化视频标题与动作感知因果注意力的对齐，确保描述性上下文在多个生成片段间保持可访问性，同时将动作指令限制在其预期的时间窗口内，从而提升生成的连贯性和一致性。
技术框架：Hy-Nomas的整体架构包括多个主要模块：首先是视觉-语言提示增强器，将用户请求转化为结构化条件；其次是多阶段课程训练，逐步引入因果生成、文本交互和相机控制；最后是扩散蒸馏阶段，优化生成效果。
关键创新：Hy-Nomas的主要创新在于其结合了8B扩散骨干和因果注意力机制，使得模型能够在多轮交互中有效管理历史信息，并生成高质量的内容。这一设计与现有方法的本质区别在于其对历史信息的有效利用和对用户指令的灵活响应。
关键设计：在模型设计中，关键参数设置包括扩散模型的层数和注意力机制的窗口大小。此外，损失函数的设计也考虑了生成内容的连贯性和用户交互的自然性，以确保模型在训练过程中能够学习到有效的生成策略。
🖼️ 关键图片
📊 实验亮点
在与现有世界模型的对比实验中，Hy-Nomas在生成内容的连贯性和用户交互体验上表现优越，具体性能提升幅度达到20%以上，显示出其在交互式世界生成中的强大能力。
🎯 应用场景
Hy-Nomas在游戏开发、虚拟现实和教育等领域具有广泛的应用潜力。通过实现更自然的交互式世界生成，用户可以在这些环境中获得更沉浸和个性化的体验，推动相关技术的进步和应用落地。
📄 摘要（原文）
Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.