Guided Action Flow: Q-Guided Inference for Flow-Matching Vision-Language-Action Policies

📄 arXiv: 2607.02092v1 📥 PDF

作者: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

分类: cs.RO, cs.AI

发布日期: 2026-07-02

💡 一句话要点

提出Q引导推理以优化流匹配视觉-语言-动作策略

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人操作 流匹配 Q引导推理 动作块评论员

📋 核心要点

  1. 现有的流匹配视觉-语言-动作策略在测试时缺乏有效的指导机制，导致性能受限。
  2. 本文提出Guided Action Flow框架，通过冻结预训练的SmolVLA策略并引入评论员来优化反向时间流采样。
  3. 实验结果表明，单任务评论员的成功率显著提升，验证成功率也有明显改善，展示了方法的有效性。

📝 摘要（中文）

流匹配视觉-语言-动作策略通过迭代传输过程生成机器人动作块，为测试时指导提供了机会，而无需重新训练基础策略。本文提出了Guided Action Flow框架，在推理时保持预训练的SmolVLA策略不变，并利用学习到的动作块评论员来指导其反向时间流采样。评论员基于真实的成功和失败回放进行训练，能够根据冻结的SmolVLA语言路径的任务描述特征进行条件化，并仅在采样过程中通过动作梯度使用。我们在LIBERO操作任务上评估了该方法，单任务评论员的成功率从68.0%提升至82.0%，而多任务描述评论员的验证成功率从46.0%提升至56.0%。这些结果支持了对冻结流匹配VLA策略进行Q引导推理的可行性，同时显示评论员的泛化能力和不确定性意识指导仍是主要瓶颈。

🔬 方法详解

问题定义：本文旨在解决现有流匹配视觉-语言-动作策略在测试阶段缺乏有效指导的问题，导致策略性能未能达到最佳。现有方法在面对新任务时，无法灵活调整，限制了其应用范围。

核心思路：论文提出的Guided Action Flow框架通过保持预训练的SmolVLA策略不变，利用学习到的动作块评论员来指导反向时间流采样，从而实现了在不重新训练的情况下优化策略的目标。

技术框架：整体架构包括三个主要模块：冻结的SmolVLA策略、动作块评论员和反向时间流采样器。评论员根据成功和失败的回放进行训练，并在采样过程中提供指导。

关键创新：最重要的技术创新在于引入了动作块评论员，通过条件化任务描述特征来优化采样过程。这一方法与传统的训练方式不同，避免了重新训练的复杂性。

关键设计：在设计中，评论员的训练数据来源于真实的成功和失败回放，损失函数设计为关注动作梯度，确保在采样时能够有效引导策略的优化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，单任务评论员的成功率从68.0%提升至82.0%，而多任务描述评论员的验证成功率从46.0%提升至56.0%。这些数据表明，Q引导推理在优化流匹配VLA策略方面具有显著效果，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化任务执行和人机交互等。通过优化视觉-语言-动作策略，能够提升机器人在复杂环境中的适应能力和执行效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Flow-matching vision-language-action policies generate robot action chunks through an iterative transport process, creating an opportunity for test-time guidance without retraining the base policy. We study this opportunity in Guided Action Flow, an inference-time framework that keeps a pretrained SmolVLA policy frozen and uses a learned action-chunk critic to guide its reverse-time flow sampler. The critic is trained from real success and failure rollouts, can condition on task-description features from the frozen SmolVLA language pathway, and is used only through action gradients during sampling. We evaluate the approach on LIBERO manipulation tasks. A single-task critic improves success from 68.0% to 82.0% on one seed window and from 82.0% to 86.0% on another. A multi-family task-description critic improves validation success from 46.0% to 56.0%, while the locked held-out test gain is positive but modest, from 65.0% to 67.5%. These results support the feasibility of Q-guided inference for frozen flow-matching VLA policies, while showing that critic generalization and uncertainty-aware guidance remain the central bottlenecks.