Qantara: Bridge-Flow Training for Multi-Paradigm JEPA Control

📄 arXiv: 2607.04978v1 📥 PDF

作者: Ruslan Rakhimov, George Bredis, Yuriy Maksyuta, Daniil Gavrilov

分类: cs.LG, cs.CV, cs.RO

发布日期: 2026-07-06

备注: 16 pages, 3 figures, 6 tables. Project page: https://corl-team.github.io/qantara

💡 一句话要点

提出Qantara以实现多范式JEPA控制

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联合嵌入预测 多范式控制 机器人控制 智能代理 动态模型

📋 核心要点

  1. 现有JEPA模型在训练时只能选择单一推理范式，限制了其应用灵活性和效率。
  2. Qantara通过联合训练目标，结合布朗桥插值和噪声-数据流匹配，实现了多范式推理的能力。
  3. 在LeWM控制套件上，Qantara达到了91.2的成功率，显著超越了现有基线，展示了其优越性能。

📝 摘要（中文）

联合嵌入预测架构（JEPA）为从原始像素进行控制的潜在世界模型提供了基础，但现有JEPA模型在训练时只能选择单一推理范式。本文提出Qantara，一个端到端的JEPA，其联合训练目标结合了状态轴上连续干净潜在变量之间的布朗桥插值与动作轴上的噪声-数据流匹配。该模型在不重新训练的情况下支持三种推理范式，显著提升了在LeWM控制套件上的表现，达到了91.2的成功率，并在OGBench-Cube上设定了新的状态-of-the-art。

🔬 方法详解

问题定义：现有的JEPA世界模型在训练时只能选择单一的推理范式，导致在实际应用中面临灵活性不足和效率低下的问题。

核心思路：Qantara的核心思想是通过联合训练目标，将布朗桥插值与噪声-数据流匹配结合，允许模型在推理时选择不同的策略，而无需重新训练。

技术框架：Qantara的整体架构包括状态轴上的布朗桥插值模块和动作轴上的流匹配模块，支持潜在规划、行为克隆和逆动态三种推理方式。

关键创新：Qantara的主要创新在于其能够在同一检查点下支持多种推理范式，解决了传统JEPA模型的单一范式限制。

关键设计：在训练过程中，模型通过集中在（动作时间，状态时间）噪声方块的边缘进行采样，优化了推理性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Qantara在LeWM控制套件上达到了91.2的成功率，较DINO-WM提升了7.7，较LeWM提升了19.7。同时，行为克隆和视频逆向路径在Push-T和Cube任务上也达到了82-83和71-73的成功率，展示了其优越的性能。

🎯 应用场景

Qantara的研究成果在机器人控制、自动驾驶和智能代理等领域具有广泛的应用潜力。其多范式推理能力使得在复杂环境中进行实时决策成为可能，提升了系统的灵活性和适应性。

📄 摘要（原文）

Joint-Embedding Predictive Architectures (JEPAs) underpin a growing family of latent world models for control from raw pixels, but every existing JEPA world model commits at training time to a single inference paradigm: either trajectory optimisation in a learned dynamics model, or direct behaviour cloning. A single checkpoint that serves both would defer this choice to inference, when deployment constraints (rollout cost, observation accessibility) determine which path wins. We present Qantara, an end-to-end JEPA whose joint training objective pairs a Brownian-bridge interpolant between consecutive clean latents on the state axis with noise-to-data flow matching on the action axis. The same checkpoint serves three inference paradigms without retraining: latent planning, behaviour-cloning action sampling, and inverse dynamics, which we query through a video-inverse composition that first predicts the next latent without action conditioning, then extracts the action. Training concentrates mass on the edges of the (action-time, state-time) noise square, where inference queries the predictor: replacing it with uniform interior sampling drops Push-T planning from 90.1 to 53.3 SR at matched compute. On the LeWM control suite, Qantara reaches a 91.2 SR three-train-seed average and sets new SOTA on OGBench-Cube (+7.7 SR over DINO-WM, +19.7 over LeWM). From the same weights, the behaviour-cloning and video-inverse paths reach 82-83 SR on Push-T and 71-73 SR on Cube. These results move JEPA world models from single-paradigm planners to multi-paradigm controllers.