PHR-VLA: Planning Horizon Reasoning for Vision-Language-Action Models

📄 arXiv: 2608.27609v1 📥 PDF

作者: Davood Soleymanzadeh, Kaidi Zhang, Zhiyuan Zhang, Bihao Zhang, Xiao Liang, Yu She, Minghui Zheng

分类: cs.RO, cs.AI

发布日期: 2026-08-27

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PHR-VLA以解决视觉语言动作模型的规划视野推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作 机器人操作 动态推理 多模态学习 潜在动态对齐

📋 核心要点

  1. 现有的视觉语言动作模型在动作预测时主要依赖当前观察，缺乏对未来任务动态的推理，限制了其在复杂操作中的表现。
  2. 本文提出PHR-VLA框架，通过引入轻量级的辅助未来头，利用潜在动态对未来观察进行推理，从而增强模型的预期能力。
  3. 实验结果显示，使用局部接触中心的潜在动态监督显著提高了模型在多个任务上的成功率，验证了方法的有效性。

📝 摘要（中文）

视觉语言动作模型（VLA）在通用机器人操作中展现出强大的潜力，通过将语言指令和视觉观察直接映射到动作。然而，大多数VLA主要依赖当前观察进行动作预测，缺乏对未来任务动态的明确推理机制，这对细致的接触丰富操作尤为重要。本文提出PHR-VLA框架，通过特权潜在表示实现VLA中的规划视野推理。PHR-VLA引入了一种轻量级的辅助未来头，在训练过程中将VLA的内部表示与从未来观察中提取的潜在动态对齐。评估结果表明，来自腕部摄像头的局部接触中心补监督将LIBERO上的成功率从84.1%提高到88.4%，在真实世界拆解任务中从63.3%提高到82.5%。来自第三人称摄像头的补监督也提升了Meta-World的性能，从56.70%提高到57.8%。这些结果表明，特权潜在动态对齐为改善VLA策略中的预期推理提供了有效的训练信号。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言动作模型在动作预测中缺乏对未来任务动态推理的问题。当前方法主要依赖于即时观察，导致在复杂的接触操作中表现不佳。

核心思路：PHR-VLA框架通过引入一个轻量级的辅助未来头，利用从未来观察中提取的潜在动态信息来增强模型的推理能力。这种设计使得模型能够在训练阶段对未来的任务动态进行有效的对齐。

技术框架：PHR-VLA的整体架构包括一个主VLA模块和一个辅助未来头。主模块负责处理当前的视觉和语言输入，而辅助头则在训练过程中对未来动态进行监督，确保模型内部表示与潜在动态保持一致。

关键创新：本文的主要创新在于引入了特权潜在动态对齐机制，使得模型能够在训练过程中有效地学习未来任务的动态特征。这与现有方法的本质区别在于，后者通常只关注当前的输入信息。

关键设计：在模型设计中，采用了特定的损失函数来优化潜在动态的对齐效果，并通过多层神经网络结构来提取复杂的特征。此外，模型在训练过程中使用了来自不同摄像头的多模态输入，以增强对接触动态的理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PHR-VLA在LIBERO数据集上的成功率从84.1%提升至88.4%，在真实世界拆解任务中从63.3%提升至82.5%。此外，Meta-World的性能也从56.70%提高到57.8%，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化拆解、智能家居等场景。通过增强机器人对未来任务动态的理解，PHR-VLA能够提高机器人在复杂环境中的操作能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-language-action models (VLAs) have shown strong promise for general-purpose robotic manipulation by mapping language instructions and vision observations directly to actions. However, most VLAs primarily condition action prediction on current observations and lack an explicit mechanism for reasoning over future task dynamics, which is particularly important for fine-grained, contact-rich manipulation. We present PHR-VLA, a framework that enables planning-horizon reasoning in VLAs through privileged latent representations of future dynamics. PHR-VLA introduces a lightweight auxiliary future head that, during training, aligns the VLA's internal representations with latent dynamics extracted from future observations. Evaluation results demonstrate that local, contact-centric, patch-level latent dynamics supervision from the wrist camera improves success rate on LIBERO from 84.1% to 88.4% and on real-world disassembly tasks from 63.3% to 82.5%. Patch-level supervision from a third-person camera also improves performance on Meta-World from 56.70% to 57.8%. These results demonstrate that privileged latent dynamics alignment provides an effective training signal for improving anticipatory reasoning in VLA policies. Project website: \href{https://davoodsz.github.io/PHR-VLA.github.io/}{https://davoodsz.github.io/PHR-VLA.github.io/}