Making Latent Evolution Explicit: Operator-Structured Transitions for World Action Models
作者: Xiaoxiao Lu, Yunlong Dong, Jiahao Shi, Ye Yuan
分类: cs.LG
发布日期: 2026-08-27
💡 一句话要点
提出LEON以解决潜在演化显式化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界动作模型 潜在演化 算子传播 机器人控制 智能交互
📋 核心要点
- 现有的世界动作模型在潜在表示空间中进行状态演变预测，但常常忽视时间演变的结构，导致性能不足。
- 本文提出的LEON通过上下文调制的算子传播和附加强迫来显式建模潜在演化，提供了一种新的架构选择。
- 实验结果表明，LEON在闭环性能和鲁棒性上均有显著提升，尤其在完全转变替换的情况下依然有效。
📝 摘要（中文）
世界动作模型（WAMs）通过预测任务相关场景状态在交互下的演变来增强机器人策略。近年来，WAMs越来越多地在潜在表示空间中进行此类预测，避免了全外观级别的生成，同时保留了与控制相关的信息。然而，潜在转变通常通过基于Transformer的预测器实现，其归纳结构集中于标记交互而非时间演变。本文研究了转变实现作为一种独立于预测表示和预测-策略耦合的架构选择。我们提出了潜在演化算子网络（LEON），通过上下文调制的算子传播和附加强迫在学习的可观察空间中建模潜在演化。基于受控Koopman生成器的演化视角，LEON围绕共享的演化算子结构组织上下文依赖的转变变化，同时保留附加变化的互补路径。受控动力系统验证了结果的演化特定归纳偏差及算子传播和强迫的互补作用。
🔬 方法详解
问题定义：本文旨在解决现有世界动作模型在潜在表示空间中进行状态演变预测时，忽视时间演变结构的问题。现有方法多依赖于基于Transformer的预测器，导致性能不足。
核心思路：论文提出的LEON通过上下文调制的算子传播和附加强迫，显式建模潜在演化。这种设计旨在保留控制相关的信息，同时增强模型对演变过程的理解。
技术框架：LEON的整体架构包括上下文调制的算子传播模块和附加强迫模块。前者负责在共享的演化算子结构中组织上下文依赖的转变变化，后者则提供了对演变过程的附加调整。
关键创新：LEON的主要创新在于将转变实现视为一种独立的架构选择，强调算子传播和强迫的互补作用。这与现有方法的基于标记交互的结构有本质区别。
关键设计：在LEON中，关键参数设置包括上下文调制的方式、算子传播的结构设计，以及损失函数的选择，以确保模型在演变预测中的有效性和鲁棒性。具体的网络结构设计细节未在摘要中提供，需参考原文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LEON在两种不同的世界动作模型中均显著提升了闭环性能和鲁棒性，尤其在完全转变替换的情况下，性能提升幅度达到XX%（具体数据需参考原文）。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、智能交互系统和自动化决策支持等。通过显式建模潜在演化，LEON能够提升机器人在复杂环境中的自主决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
World Action Models (WAMs) augment robot policies by predicting how task-relevant scene states may evolve under interaction. Recent WAMs increasingly perform such prediction in latent representation spaces, avoiding full appearance-level generation while preserving control-relevant information. Yet latent transitions are commonly realized with Transformer-based predictors whose inductive structure is centered on token interaction rather than temporal evolution. We study transition realization as an architectural choice distinct from predictive representation and prediction-policy coupling. We introduce the Latent Evolution Operator Network (LEON), which models latent evolution in a learned observable space through context-modulated operator-based propagation and additive forcing. Grounded in the controlled Koopman generator view of evolution, LEON organizes context-dependent transition variation around a shared evolution-operator structure while retaining a complementary path for additive change. Controlled dynamical systems verify the resulting evolution-specific inductive bias and the complementary roles of operator propagation and forcing. Across two WAM formulations that integrate latent prediction into the policy differently, LEON improves closed-loop performance and robustness while remaining effective under full transition replacement. These results establish transition realization as a consequential architectural choice in latent WAMs.