HelloWorld: Enabling Socially Interactive Characters in Video World Models
作者: Liangyang Ouyang, Ruicong Liu, Xuangeng Chu, Kaipeng Zhang, Yoichi Sato
分类: cs.CV
发布日期: 2026-08-05
备注: Project page: https://github.com/AlayaLab/HelloWorld
🔗 代码/项目: GITHUB
💡 一句话要点
提出HelloWorld以解决视频世界模型中社交互动缺失问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 视频世界模型 社交互动 自蒸馏 虚拟角色 用户体验 图像美学 相机姿态
📋 核心要点
- 现有的视频世界模型缺乏用户与虚拟角色之间的社交互动，限制了用户体验。
- HelloWorld通过自蒸馏管道和无训练模块，使用户能够自然地与虚拟角色进行互动。
- 实验结果显示，HelloWorld在互动质量上优于多种基线，同时保持了高水平的图像质量和相机跟随能力。
📝 摘要（中文）
尽管视频世界模型近期取得了显著进展，但用户与角色之间的社交互动仍然未得到支持。为填补这一空白，本文提出了HelloWorld，一个能够实现与虚拟角色社交互动的视频世界模型。用户只需按下一个按钮，角色便会对镜头做出反应，如转身、挥手、点头或说短暂的问候。为使这些互动自然，我们提出了一种自蒸馏管道，利用自身合成的数据对视频生成模型进行微调。每个合成片段包含社交互动和相机运动，使模型能够学习相机姿态条件而不降低互动质量。推理时，我们引入了一个无训练模块，决定互动发生的时机。实验表明，HelloWorld在互动质量上超越了多种基线，同时保持了最先进的图像美学和相机姿态跟随能力。
🔬 方法详解
问题定义：本文旨在解决现有视频世界模型中缺乏社交互动的问题。现有方法无法支持用户与虚拟角色之间的自然互动，限制了用户的沉浸感和体验。
核心思路：HelloWorld的核心思路是通过自蒸馏技术和无训练模块，使得用户能够通过简单的按钮操作与虚拟角色进行互动，提升互动的自然性和流畅性。
技术框架：整体架构包括自蒸馏管道和无训练模块。自蒸馏管道用于微调视频生成模型，而无训练模块则在推理阶段决定何时进行互动。
关键创新：最重要的创新在于引入了自蒸馏管道，使得模型能够在合成数据上进行学习，从而提高了互动的质量和自然性。与现有方法相比，HelloWorld能够更好地处理相机姿态和角色互动的协调。
关键设计：在技术细节上，模型通过合成片段学习相机运动和社交互动的关系，使用交叉注意力掩码来调节互动相关的文本提示，确保角色的响应在时间上局部化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HelloWorld在互动质量上超过了多种基线，具体表现为在社交互动的自然性和流畅性上有显著提升，同时保持了图像美学和相机姿态跟随的最先进水平。
🎯 应用场景
HelloWorld的研究成果在虚拟现实、游戏开发和社交媒体等领域具有广泛的应用潜力。通过实现自然的社交互动，能够提升用户的沉浸感和参与度，推动虚拟角色与用户之间的互动体验向前发展。
📄 摘要（原文）
Despite the remarkable recent progress of video world models, social interaction between users and the characters within these worlds remains unsupported. To fill this gap, we present HelloWorld, a video world model that enables social interaction with in-world characters. With a single button press, users can prompt the on-screen character to respond toward the camera, e.g., turning to the viewer, waving, nodding, or speaking a short greeting. To make these interactions natural, we propose a self-distillation pipeline that finetunes the video generation model on data synthesized by itself. Each synthesized clip contains both social interactions and camera motion, allowing the model to learn camera-pose conditioning without degrading interaction quality. At inference, we further introduce a training-free module that determines when the interaction occurs. Upon a button press, it modulates the cross-attention masks of the DiT so that the interaction-related text prompt attends only to the frames within the press window, temporally localizing the character's response. We further build HelloWorldBench, a 400-sample benchmark with three social interaction metrics alongside three conventional metrics, for evaluation. Experiments demonstrate that HelloWorld surpasses a variety of baselines in interaction quality, while maintaining state-of-the-art picture aesthetics and camera-pose following. Project page: https://github.com/AlayaLab/HelloWorld