Schrödinger's Cat: Probabilistic Representation and Prediction of Potential Scene Kinematics
作者: Timy Phan, Jannik Wiese, Björn Ommer
分类: cs.CV, cs.LG
发布日期: 2026-07-28
备注: Accepted at ECCV 2026. Project page: https://compvis.github.io/schroedingers_cat
💡 一句话要点
提出GARFIELD以解决场景运动预测中的不确定性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 场景运动预测 概率模型 时空表示 运动规划 不确定性建模 轨迹采样 交互式探索
📋 核心要点
- 现有方法在场景运动预测中往往忽视了多种可能未来的建模，导致对运动的不确定性处理不足。
- 本文提出GARFIELD模型，通过学习结构化的时空潜在表示，能够有效地描述和采样未来的运动轨迹。
- 实验结果显示，GARFIELD在运动规划性能上与大型视频生成模型相当，同时在采样速度上提升了97倍。
📝 摘要（中文）
预测场景如何从部分观察演变需要考虑多种可能的未来，而不是仅仅依赖单一轨迹。现有方法通常生成以外观为主的视频预测，或仅采样少量轨迹而未明确建模可能运动的分布。本文提出了未来运动潜在分布的目标感知表示（GARFIELD），这是一种学习结构化时空潜在表示的概率模型，能够根据图像和可选的时空稀疏约束来描述可能未来的分布。该潜在表示不仅支持所有轨迹的联合采样，还通过高效的确定性密度解码器直接访问基础运动分布。实验表明，该方法在运动规划性能上与大型视频生成模型竞争，同时采样速度提高了97倍，运动密度估计速度比蒙特卡洛采样快两个数量级，支持交互式探索和不确定性感知规划。
🔬 方法详解
问题定义：本文旨在解决从部分观察中预测场景演变时对多种可能未来的建模不足，现有方法往往只能生成外观主导的视频预测，或仅采样少量轨迹，未能有效捕捉运动的不确定性。
核心思路：GARFIELD模型通过学习一个结构化的时空潜在表示，能够同时进行轨迹的联合采样和运动分布的直接访问，从而更好地处理未来运动的不确定性。
技术框架：GARFIELD的整体架构包括图像输入、潜在表示学习、轨迹联合采样和确定性密度解码器四个主要模块。该模型能够根据输入图像和稀疏约束生成多种可能的运动轨迹。
关键创新：GARFIELD的主要创新在于其目标感知的潜在表示，能够有效地将运动的不确定性局部化到特定的场景元素和时间步，并通过附加约束逐步细化。与现有方法相比，GARFIELD在运动分布建模上具有更高的效率和准确性。
关键设计：模型采用了高效的确定性密度解码器，能够快速估计运动密度，参数设置和损失函数设计旨在优化潜在表示的学习效率，确保模型在采样和运动估计上的高性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GARFIELD在运动规划性能上与大型视频生成模型相当，同时在轨迹采样速度上提升了97倍。此外，模型在运动密度估计方面的速度比传统的蒙特卡洛采样快两个数量级，显著提高了交互式探索的效率。
🎯 应用场景
该研究在机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过准确预测场景的运动演变，GARFIELD能够支持更智能的决策制定和规划，提升系统的交互性和响应能力。未来，该模型有望在复杂动态环境中实现更高效的实时应用。
📄 摘要（原文）
Predicting how a scene may evolve from partial observations requires reasoning about multiple possible futures rather than committing to a single trajectory. Existing approaches either generate appearance-dominated video predictions or sample a small number of trajectories without explicitly modeling the distribution of possible motion. We introduce Goal-Aware Representations of Future kInEmatic Latent Distributions (GARFIELD), a probabilistic model of scene kinematics that learns a structured spatio-temporal latent representation of the distribution over possible futures given an image and optional spatio-temporally sparse constraints. The same latent representation enables both joint sampling of all trajectories and direct access to the underlying motion distribution through an efficient deterministic density decoder. As a result, uncertainty about future motion can be localized to specific scene elements and timesteps and progressively refined through additional constraints. Experiments demonstrate strong motion planning performance competitive with large video generation models while sampling trajectories $97\times$ faster. Our method further estimates motion densities two orders of magnitude faster than Monte-Carlo sampling from motion generation models, enabling interactive exploration and uncertainty-aware planning.