Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model

📄 arXiv: 2603.05438v1 📥 PDF

作者: Dongwon Kim, Gawon Seo, Jinsung Lee, Minsu Cho, Suha Kwak

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-03-05

备注: CVPR 2026

💡 一句话要点

提出CompACT：一种紧凑离散Token编码器，用于加速World Model中的决策规划。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: World Model Token编码器 离散表示 动作规划 实时控制 机器人 计算效率

📋 核心要点

  1. 现有World Model方法在决策规划时计算成本高昂，主要瓶颈在于潜在表示需要大量Token。
  2. 论文提出CompACT，一种将观测压缩到仅8个Token的离散Token编码器，显著降低计算成本。
  3. 实验表明，采用CompACT的World Model在规划性能上具有竞争力，且规划速度大幅提升。

📝 摘要（中文）

World Model提供了一个强大的框架，用于模拟以动作或指令为条件的动态环境，从而支持动作规划或策略学习等下游任务。最近的方法利用World Model作为学习到的模拟器，但其在决策时规划的应用在实时控制方面仍然存在计算瓶颈。一个关键瓶颈在于潜在表示：传统的Token编码器将每个观测编码成数百个Token，使得规划既慢又耗费资源。为了解决这个问题，我们提出CompACT，一种离散Token编码器，它将每个观测压缩成少至8个Token，从而大大降低了计算成本，同时保留了规划所需的基本信息。采用CompACT Token编码器的动作条件World Model实现了具有竞争力的规划性能，且规划速度提高了几个数量级，为World Model的实际部署提供了一个切实可行的步骤。

🔬 方法详解

问题定义：论文旨在解决World Model在决策规划中计算成本过高的问题。现有方法通常使用大量的Token来编码环境观测，导致规划过程缓慢且资源消耗大。尤其是在实时控制等应用场景下，高昂的计算成本限制了World Model的实际应用。

核心思路：论文的核心思路是通过设计一种紧凑的离散Token编码器（CompACT），将每个观测压缩成极少数量的Token（例如8个）。这样可以在显著降低计算复杂度的同时，保留足够的环境信息，以支持有效的规划。通过减少Token的数量，可以大幅度减少后续规划步骤中的计算量。

技术框架：整体框架包含一个动作条件World Model，该模型使用CompACT Token编码器来处理环境观测。具体流程如下：1) 环境观测通过CompACT编码器被转换为少量离散Token。2) 这些Token与动作一起输入到World Model中，用于预测下一个状态的Token表示。3) 规划器利用World Model进行模拟，选择最优的动作序列。

关键创新：最重要的技术创新在于CompACT Token编码器的设计。与传统的Token编码器相比，CompACT能够以极低的Token数量实现对环境信息的有效编码。这种紧凑的表示方式是实现快速规划的关键。此外，论文还可能探索了针对少量Token的World Model训练方法，以确保模型能够充分利用这些有限的信息。

关键设计：具体的技术细节可能包括：1) CompACT编码器的网络结构，例如使用卷积神经网络或Transformer等。2) 离散化的方法，例如使用VQ-VAE或Gumbel-Softmax等。3) 损失函数的设计，可能包括重构损失、预测损失等，以确保编码器能够保留足够的环境信息。4) 规划器的具体算法，例如使用Monte Carlo Tree Search (MCTS) 或 Cross-Entropy Method (CEM) 等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的CompACT Token编码器能够将环境观测压缩到仅8个Token，显著降低了World Model的计算成本。实验结果表明，采用CompACT的World Model在规划性能上具有竞争力，同时规划速度提高了几个数量级。这种性能提升为World Model在实际应用中的部署铺平了道路。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、自动驾驶等领域。通过降低World Model的计算成本，可以使其在资源受限的平台上运行，并实现更快的决策速度。这对于需要实时响应的应用场景尤为重要。未来的研究可以探索如何进一步压缩Token数量，并将其应用于更复杂的环境和任务。

📄 摘要（原文）

World models provide a powerful framework for simulating environment dynamics conditioned on actions or instructions, enabling downstream tasks such as action planning or policy learning. Recent approaches leverage world models as learned simulators, but its application to decision-time planning remains computationally prohibitive for real-time control. A key bottleneck lies in latent representations: conventional tokenizers encode each observation into hundreds of tokens, making planning both slow and resource-intensive. To address this, we propose CompACT, a discrete tokenizer that compresses each observation into as few as 8 tokens, drastically reducing computational cost while preserving essential information for planning. An action-conditioned world model that occupies CompACT tokenizer achieves competitive planning performance with orders-of-magnitude faster planning, offering a practical step toward real-world deployment of world models.