Tether the Subject, Release the Scene: Query-Aware Memory Routing for Long-Horizon Autoregressive Video Generation
作者: Chen Li, Peng Zhang, Hanyu Zhou, Jialong Zuo, Fei Wang, Daiguo Zhou, Nong Sang, Changxin Gao
分类: cs.CV
发布日期: 2026-08-27
💡 一句话要点
提出TetherMem以解决长视频生成中的场景进展问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 长视频生成 自回归模型 时空记忆 查询感知 视频质量提升 场景进展 计算机视觉 深度学习
📋 核心要点
- 现有流式自回归视频生成方法在保持主体一致性时，容易导致背景和场景结构的锁定，造成场景进展不足的问题。
- 本文提出的TetherMem通过分离主体和场景查询，调节历史访问，旨在解决场景进展不足的挑战，提升视频生成的质量。
- 在2400次盲评中，TetherMem在整体质量和场景进展方面均超越了八个流式长视频基线，显示出显著的效果提升。
📝 摘要（中文）
流式自回归视频模型通过历史记忆逐块生成长视频，以保持一致性。现有方法通常通过相似策略将主体和场景查询暴露于历史中，这虽然稳定了主体，但也可能将背景、视角和场景结构锁定在先前生成的状态中，导致场景进展不足。为此，本文提出了TetherMem，一个无训练的、查询感知的时空记忆路由器，能够有效分离主体和场景查询，并通过区域和时间条件先验调节历史访问。实验结果表明，TetherMem在视频质量和场景进展方面均优于现有基线。
🔬 方法详解
问题定义：本文旨在解决流式自回归视频生成中，主体一致性与场景进展之间的矛盾。现有方法在保持主体稳定的同时，容易导致背景和场景结构的锁定，造成场景进展不足。
核心思路：TetherMem通过分离主体和场景查询，允许主体查询保留身份信息的历史，而场景查询则减少对主体历史和过时背景的依赖，从而实现更灵活的场景生成。
技术框架：TetherMem的整体架构包括查询分离模块、历史访问调节模块和区域-时间条件先验模块。主体查询和场景查询通过不同的路径处理，确保生成过程中的灵活性和一致性。
关键创新：TetherMem的主要创新在于其查询感知的时空记忆路由机制，能够有效分离主体和场景信息，避免了传统方法中场景进展不足的问题。这一设计使得生成的视频在背景、视角和场景状态变化时，仍能保持主体的可识别性和时间连续性。
关键设计：在设计中，TetherMem采用了区域和时间条件先验来调节历史访问，确保主体查询与场景查询的独立性。此外，模型的损失函数和网络结构经过精心设计，以优化视频生成的整体质量和场景进展。
🖼️ 关键图片
📊 实验亮点
在2400次盲评中，TetherMem在整体视频质量和场景进展方面分别达到了0.780和0.769的最高预期偏好，显著优于八个流式长视频基线，展示了其在生成长视频时的卓越性能。
🎯 应用场景
TetherMem的研究成果在长视频生成、虚拟现实、游戏开发等领域具有广泛的应用潜力。通过提升视频生成的质量和场景进展能力，该技术能够为内容创作者提供更高效的工具，推动多媒体内容的创新与发展。
📄 摘要（原文）
Streaming autoregressive video models generate long videos chunk by chunk, using historical memory to maintain consistency. Existing methods typically expose subject and scene queries to history through similar policies. This stabilizes the subject, but can also lock backgrounds, viewpoints, and scene structure to previously generated states even when local motion continues. We call this failure memory-anchored scene under-progression; consistency and motion metrics alone can miss it. We introduce TetherMem, a training-free, query-aware spatiotemporal memory router for frozen video generators. TetherMem separates subject and scene queries and modulates historical access with region- and age-conditioned priors: subject queries retain identity-bearing history, while scene queries reduce reliance on subject history and stale backgrounds. Across 2,400 blinded pairwise judgments from 10 annotators, TetherMem achieves the highest estimated expected preference among eight streaming long-video baselines for overall quality (0.780) and scene progression (0.769). On complete 30-second videos, it sustains changes in background, viewpoint, and scene state while preserving subject recognizability and temporal continuity.