PAVE: Predictive Alignment and Value-Guided Evolution for World-Action Policies
作者: Botong Zhao, Fang Yu, Tim, Senhua Zhu, Xinyuan Chen, Yue Lu
分类: cs.RO, cs.AI
发布日期: 2026-08-31
💡 一句话要点
提出PAVE以解决机器人行动策略中的动态表示与行为重用问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 机器人控制 策略优化 动态表示 多时间尺度对齐
📋 核心要点
- 现有的视觉-语言-行动策略在动态表示和行为重用方面存在不足，导致无法有效描述场景演变。
- PAVE结合了无结果的预测学习与有结果的策略改进，通过多时间尺度的过渡对齐和独立的值评论员来优化策略。
- 在三个仿真基准测试中，PAVE展现出最强的整体性能，且保持了直接动作生成的高效性。
📝 摘要（中文）
直接的视觉-语言-行动策略能够高效生成连续的机器人动作，但标准的行为克隆方法存在两个互补的不足：其表示未能明确描述场景在多个时间尺度上的演变，且在重用不等质量的部署轨迹时未能区分有用动态与不良行为。本文提出PAVE，一种结合无结果预测学习与有结果策略改进的直接世界行动策略。PAVE首先保留局部固定偏移的JEPA目标，并在剩余回合的25%、50%、75%和100%处添加轨迹相对的多时间尺度过渡对齐。这些仅用于训练的目标要求当前策略表示保留局部物理变化和更长任务进展，而不向动作头提供显式的未来标记。然后，PAVE在累积部署轨迹上训练独立的分布值评论员，计算与动作块对齐的N步优势，并将其转换为正、负或无条件的文本条件供流匹配演员使用。通过这种方式，每条有效轨迹都能教会物理发生的事情，而演员仅在与相对较好动作相关的条件下被部署。实验表明，PAVE在三个仿真基准上实现了最强的整体性能，同时保留了直接演员的在线执行路径。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-行动策略在动态表示和行为重用中的不足，特别是如何有效描述场景演变和区分有用与不良行为。
核心思路：PAVE通过引入多时间尺度的过渡对齐和独立的值评论员，优化策略学习过程，确保策略能够有效捕捉场景变化和任务进展。
技术框架：PAVE的整体架构包括两个主要模块：一是局部固定偏移的JEPA目标与多时间尺度对齐，二是独立的分布值评论员，后者用于计算N步优势并生成条件文本。
关键创新：PAVE的创新在于结合了无结果的预测学习与有结果的策略改进，允许策略在不依赖显式未来标记的情况下进行优化，这与传统方法有本质区别。
关键设计：在设计上，PAVE使用了局部固定偏移的JEPA目标，并在不同时间点进行多时间尺度对齐，此外，独立的值评论员通过累积部署轨迹进行训练，确保策略的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
在三个仿真基准测试中，PAVE实现了最强的整体性能，相较于传统方法，提升幅度显著，尤其在动态场景处理和策略优化方面表现突出。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、智能家居等，能够提升机器人在复杂环境中的决策能力和适应性。未来，PAVE有望推动更智能的机器人系统的发展，使其在动态环境中表现更为出色。
📄 摘要（原文）
Direct vision-language-action policies generate continuous robot actions efficiently, but standard behavior cloning leaves two complementary gaps: their representations are not explicitly required to describe how the scene evolves over multiple time scales, and deployment trajectories of unequal quality are often reused without separating useful dynamics from undesirable behavior. We introduce \method, a direct world-action policy that combines outcome-agnostic predictive learning with outcome-aware policy improvement. \method first retains a local fixed-offset JEPA objective and adds trajectory-relative multi-horizon transition alignment at 25%, 50%, 75%, and 100% of the remaining episode. These training-only targets require the current policy representation to preserve both local physical changes and longer-range task progress, without supplying explicit future tokens to the action head. \method then trains an independent distributional value critic on cumulative deployment trajectories, computes action-chunk-aligned $N$-step advantages, and converts them into positive, negative, or null text conditions for a flow-matching actor. Thus, every valid trajectory can teach what physically happened, while the actor is deployed only under the condition associated with relatively better actions. The multi-horizon predictor and critic are removed from online execution, preserving direct action generation from the current observation, language instruction, and proprioception. \redclaim{Across the three simulation benchmarks, \method achieves the strongest overall performance while preserving the direct actor's online execution path.}