GenDSR: Transferring Representations from Video Generation Models for Dynamic Spatial Reasoning

📄 arXiv: 2610.41314v1 📥 PDF

作者: Ke Yang, Zhenyu Zhang, Jun Li

分类: cs.CV, cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出GenDSR以解决动态空间推理问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 动态空间推理 视频生成模型 视觉语言模型 时空表示 多模态学习

📋 核心要点

  1. 动态空间推理在视觉语言模型中面临挑战，现有方法难以同时跟踪空间关系和保持场景状态。
  2. GenDSR框架通过将视频生成模型的中间表示转移到视觉语言模型，构建了原始和增量两个互补分支以处理动态空间推理。
  3. 在DSR-Bench上，GenDSR达到了67.2%的性能，超越了之前的最佳结果，展示了其在动态空间推理中的有效性。

📝 摘要（中文）

动态空间推理对于将视觉智能与物理世界连接至关重要，但对于视觉语言模型（VLMs）而言仍然具有挑战性，因为它们必须在跟踪空间关系随时间演变的同时保持场景状态。同时，视频生成模型（VGMs）被训练用于合成时间一致的世界动态，提供了丰富的时空表示。我们提出了GenDSR，一个将VGM的中间表示转移到VLM以进行动态空间推理的框架。GenDSR构建了两个互补的分支：一个原始分支保留整体生成上下文，另一个增量分支强调时间变化。任务条件的逐token门控融合了这两种信号，并将结果注入到本地视觉表示中。在DSR-Bench上，GenDSR达到了67.2%的成绩，超越了之前的最佳结果，建立了新的最先进水平。

🔬 方法详解

问题定义：本论文旨在解决动态空间推理中的挑战，尤其是视觉语言模型在跟踪空间关系和保持场景状态方面的不足。现有方法往往无法有效处理时间动态，导致推理能力受限。

核心思路：GenDSR的核心思路是将视频生成模型（VGM）的中间表示转移到视觉语言模型（VLM），通过构建原始和增量两个互补分支，分别保留整体生成上下文和强调时间变化，从而增强动态空间推理能力。

技术框架：GenDSR的整体架构包括两个主要分支：原始分支和增量分支。原始分支负责保留生成上下文，而增量分支则专注于捕捉时间变化。任务条件的逐token门控机制用于融合这两个分支的信号，并将融合结果注入到VLM的本地视觉表示中。

关键创新：GenDSR的主要创新在于其双分支结构，能够有效地结合整体上下文和时间变化信息。这种设计与传统方法的单一特征提取方式形成鲜明对比，显著提升了动态空间推理的能力。

关键设计：在关键设计方面，GenDSR采用了任务条件的门控机制，以实现对原始和增量信号的动态融合。此外，网络结构经过优化，以确保在处理时空动态时的高效性和准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

在DSR-Bench上，GenDSR达到了67.2%的性能，超越了之前的最佳结果，建立了新的最先进水平。这一结果表明，GenDSR在动态空间推理任务中具有显著的优势，展示了其在时空表示转移方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人导航和自动驾驶等场景，能够有效提升系统对动态环境的理解和反应能力。未来，GenDSR可能在多模态学习和人机交互等领域发挥重要作用，推动智能系统的进一步发展。

📄 摘要（原文）

Dynamic spatial reasoning is essential for connecting visual intelligence to thephysical world, yet remains challenging for vision-language models (VLMs), which must preserve scene state while tracking how spatial relations evolve over time. Meanwhile, video generation models (VGMs), trained to synthesize temporally coherent world dynamics, offer a rich source of spatiotemporal representations. We present GenDSR, a framework that transfers intermediate representations from VGM into VLM for dynamic spatial reasoning. Rather than treating a VGM feature as a monolithic prior, GenDSR constructs two complementary branches: a raw branch preserving holistic generative context and a delta branch emphasizing temporal variation. Task-conditioned tokenwise gates then fuse both signals and inject the result into the native visual representation. On DSR-Bench, GenDSR achieves 67.2%, surpassing the previous best result and establishing a new state of the art.