MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

📄 arXiv: 2606.17800v1 📥 PDF

作者: Lichen Bai, Tianhao Zhang, Shitong Shao, Dingwei Tan, Qiyu Zhong, Zhengpeng Xie, Haopeng Li, Qinghao Huang, Dandan Shen, Tengjiao Ji, Wei Wang, Peicheng Wu, Yuxuan Zhao, Xiangyu Zhu, Welly Luo, Shurui Yang, Zeke Xie

分类: cs.CV

发布日期: 2026-06-16

备注: 32 pages, 13 figures, 3 tables

💡 一句话要点

提出MaineCoon以解决社交世界模型生成的实时性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 社交世界模型 音视频生成 实时交互 自回归模型 多模态对齐 在线策略蒸馏 高帧率生成

📋 核心要点

  1. 现有世界模型主要模拟物理环境或游戏探索，缺乏对人类社交动态的关注，无法满足社交互动需求。
  2. MaineCoon通过引入多项新技术，构建了首个实时音视频生成模型，专注于社交互动应用的优化。
  3. MaineCoon在单GPU下实现了47.5 FPS的高帧率，显著提升了生成速度和交互体验，树立了新的性能基准。

📝 摘要（中文）

随着全球视频内容在社交平台上的消费日益增加，针对社交世界的视频生成模型显得尤为重要，但此前的研究对此关注不足。本文定义了社交世界模型的位置，并构建了原型模型MaineCoon，作为迈向这一目标的第一步。MaineCoon是首个实时音视频自回归模型，拥有220亿参数，能够实现实时流生成和亚秒级交互，单GPU下的帧率高达47.5 FPS。此外，MaineCoon专门针对社交互动应用进行了优化。为实现高效稳定的训练，本文引入了自重采样、跨模态表示对齐、领域感知偏好优化和强化在线策略蒸馏等新技术。这些创新显著加速了训练过程，同时优化了实时推理性能。

🔬 方法详解

问题定义：本文旨在解决现有世界模型与人类社交动态之间的脱节，尤其是在社交互动场景中的实时生成能力不足的问题。现有模型多集中于物理环境或游戏世界的模拟，缺乏对社交内容生成的关注。

核心思路：MaineCoon的核心思路是构建一个实时音视频自回归模型，专门优化社交互动应用，通过引入新技术来提升生成速度和交互性能。

技术框架：MaineCoon的整体架构包括音视频生成模块、跨模态对齐模块和在线策略蒸馏模块。通过这些模块的协同工作，模型能够实现高效的实时生成和交互。

关键创新：本文的关键创新在于引入了自重采样、跨模态表示对齐、领域感知偏好优化和强化在线策略蒸馏等技术，这些创新使得MaineCoon在实时生成和训练效率上显著优于现有模型。

关键设计：在模型设计中，MaineCoon采用了220亿参数的架构，优化了损失函数以适应社交内容生成的需求，并通过代理缓存管理和提示规划来减少生成过程中的漂移现象。整体设计旨在实现高质量、低延迟的音视频生成。

📊 实验亮点

MaineCoon在单GPU下实现了高达47.5 FPS的帧率，显著优于现有的音视频生成模型，标志着在高质量、低延迟的音视频自回归模型领域设立了新的性能基准。这一成果不仅提升了生成速度，还优化了社交互动的实时性，具有重要的应用价值。

🎯 应用场景

MaineCoon的潜在应用场景包括社交媒体内容生成、实时视频聊天、在线游戏中的动态场景生成等。其高效的实时生成能力和优化的交互性能将极大提升用户体验，推动下一代AI社交平台的发展。未来，MaineCoon可能会在虚拟现实和增强现实等领域发挥重要作用，促进人机交互的自然性和流畅性。

📄 摘要（原文）

As an increasing majority of global video content is consumed on social platforms for interactive social purposes, video generation models built for social worlds are important but largely overlooked by previous studies. In this work, we define the position of social world models and build a prototype model as the first step towards this goal. While previous world models successfully simulate physical environments or gaming world exploration, they remain fundamentally detached from human-centric social dynamics. To bridge this gap as the first step to social world models, we present MaineCoon, the first real-time audio-visual autoregressive model that has 22B parameters and is capable of real-time streaming generation and sub-second interaction, with a record-breaking frame rate of up to 47.5 FPS, on a single GPU. To the best of our knowledge, MaineCoon is also the first real-time audio-visual generation model specifically optimized for social-interactive applications. To enable efficient and stable training, we introduce several novel techniques into MaineCoon, including self-resampling, cross-modal representation alignment, domain-aware preference optimization, and reinforced online-policy distillation (ROPD). We also design the first agentic streaming inference framework that supports thousand-second-scale or even longer generation while mitigating drift with agentic cache management and prompt planing. These innovations significantly accelerate training while optimizing real-time inference performance. We believe this work not only sets a new state-of-the-art (SOTA) performance benchmark for high-quality, low-latency, and long-horizon audio-visual autoregressive models, but also points out the paradigm shift desired for next-generation AI-native social platforms.