INTACT: Isomorphic Intent-to-Action Learning for Search-Free World Models

📄 arXiv: 2607.26056v1 📥 PDF

作者: Junhan Sun, Hao Zhao, Guofeng Zhang

分类: cs.RO

发布日期: 2026-07-28

备注: 28 pages, 11 figures, including appendices

💡 一句话要点

提出INTACT以解决搜索成本高的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 意图到动作 潜在世界模型 无搜索策略 机器人控制 自动驾驶 表示学习 动作法则

📋 核心要点

  1. 现有的前向潜在世界模型在恢复动作时依赖昂贵的搜索过程，效率低下。
  2. INTACT通过将动作标记的轨迹转化为意图到动作接口，简化了动作恢复过程，避免了搜索。
  3. 在LeWM任务中，INTACT模型在一次训练中达到了85.78%至100%的成功率，显著提高了效率。

📝 摘要（中文）

前向潜在世界模型预测动作如何改变场景，但仅通过昂贵的测试时间搜索来恢复所需的动作。我们提出INTACT（意图到动作），一个端到端的JEPA，将标记动作的无奖励轨迹转化为可部署的意图到动作接口。每个过渡提供物理意图，而未来目标提供部署意图。该架构在局部和目标运动意图的基础输入图之间是同构的，并通过相同的预测器引导动作法则语义。INTACT还提供从RGB证据到动作有效潜在意图坐标的完整转移。实验表明，在四个官方LeWM任务上，模型在一次训练中达到85.78%至100%的成功率，且通过优化采样显著提高了性能。

🔬 方法详解

问题定义：本论文旨在解决前向潜在世界模型在恢复动作时的高搜索成本问题。现有方法依赖于昂贵的测试时间搜索，导致效率低下。

核心思路：INTACT通过将动作标记的无奖励轨迹转化为意图到动作接口，提供了一种端到端的解决方案。每个过渡提供物理意图，而未来目标则提供部署意图，从而简化了动作恢复过程。

技术框架：INTACT的架构包括局部和目标运动意图的同构图，采用相同的四槽语法和共享参数。通过动作法则语义，模型在局部和目标意图之间建立联系，避免了点对点的潜在匹配。

关键创新：INTACT的主要创新在于其同构架构和无搜索策略，结合了表示学习和控制，避免了全局线性动态的限制。

关键设计：模型采用了不对称的端点梯度来固定未来目标，并通过共享的四任务编码器实现了高效的学习。损失函数和网络结构经过精心设计，以支持鲁棒的分布式动作法则。实验中，直接推理时间为2.9至5.5毫秒。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个官方LeWM任务中，INTACT模型在一次训练中实现了85.78%至100%的成功率。通过优化局部CEM，成功率达96.86%，并将候选序列数量从9,000减少到384，采样效率提高了23.44倍，同时纯CEM性能提升了16.00点。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等。通过提供高效的意图到动作接口，INTACT能够在复杂环境中实现快速决策，提升智能体的自主性和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Forward latent world models predict how actions change a scene, but recover actions for a desired change only through expensive test-time search. We introduce INTACT (INtent-To-ACTion), an end-to-end JEPA that turns action-labeled, reward-free trajectories into a deployable intent-to-action interface. Each transition supplies physical intent $z_{t+1}-z_t$, while a future goal supplies deployment intent $\operatorname{sg}(z_g)-z_t$. The architecture is isomorphic between the local and goal motion-intent backbone-input graphs through an identical four-slot grammar and shared parameters, and between supported local and goal motion-intent families through action-law semantics induced by the same predictor rather than pointwise latent equality. INTACT also provides intact transfer from RGB evidence to action-effective latent intent coordinates and from intent families to their corresponding action-law families. Asymmetric endpoint gradients ground physical successors and fix future goals as anchors, joining representation learning and control without pointwise latent matching or globally linear dynamics. The resulting coordinates support a robust distributional action law: its conditional mean serves directly as a search-free policy, while sampling remains available for diversity or optional verification. On the four official LeWM tasks, one-epoch, zero-search models reach 85.78\%, 100.00\%, 97.67\%, and 97.89\% success. Optional local CEM centered on the Direct plan reaches 96.86\% macro success using 384 instead of 9,000 candidate sequences, reducing sampling by $23.44\times$ while improving pure CEM by 16.00 points. One shared four-task encoder reaches 89.39\% E5 Direct macro and improves every task over jointly trained LeWM, while predicted--expert action-family kNN tracks Direct success at $r=0.954$. Direct inference takes 2.9--5.5 ms.