Guided Action Flow: Q-Guided Inference for Flow-Matching Vision-Language-Action Policies

📄 arXiv: 2607.02092 📥 PDF

作者: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

分类: cs.RO, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出引导动作流以解决流匹配视觉-语言-动作策略的推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流匹配 视觉-语言-动作 机器人操作 推理优化 动作评论员 Q引导推理 多模态学习

📋 核心要点

  1. 现有的流匹配视觉-语言-动作策略在测试阶段缺乏有效的指导机制，导致性能受限。
  2. 本文提出引导动作流框架，通过冻结预训练的SmolVLA策略并引入动作片段评论员，优化推理过程。
  3. 实验结果表明，单任务评论员和多家庭任务描述评论员均显著提高了成功率，验证了方法的有效性。

📝 摘要（中文）

流匹配视觉-语言-动作策略通过迭代传输过程生成机器人动作片段，为测试时指导提供了机会，而无需重新训练基础策略。本文研究了这一机会，提出了引导动作流（Guided Action Flow）框架，该框架在推理时保持预训练的SmolVLA策略不变，并利用学习的动作片段评论员来指导其反向时间流采样。评论员基于真实的成功与失败回合进行训练，能够根据冻结的SmolVLA语言路径的任务描述特征进行条件化，并仅在采样过程中通过动作梯度使用。我们在LIBERO操作任务上评估了该方法，单任务评论员将成功率从68.0%提高到82.0%，而多家庭任务描述评论员将验证成功率从46.0%提高到56.0%。这些结果支持了对冻结流匹配VLA策略进行Q引导推理的可行性，同时表明评论员的泛化能力和不确定性感知指导仍然是主要瓶颈。

🔬 方法详解

问题定义：本文旨在解决流匹配视觉-语言-动作策略在推理阶段缺乏有效指导的问题。现有方法在测试时无法动态调整策略，导致性能不佳。

核心思路：提出引导动作流框架，通过冻结预训练的SmolVLA策略，利用学习的动作片段评论员来指导反向时间流采样，从而提高推理效果。

技术框架：整体架构包括三个主要模块：冻结的SmolVLA策略、动作片段评论员和反向时间流采样器。评论员根据成功与失败的回合进行训练，并在采样过程中提供指导。

关键创新：最重要的创新在于引入了基于Q值的评论员，通过动作梯度进行指导，避免了对基础策略的重新训练，显著提升了推理性能。

关键设计：评论员的训练使用真实的成功与失败回合，损失函数设计为关注任务描述特征的条件化，确保评论员能够有效指导采样过程。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，单任务评论员的引入使成功率从68.0%提升至82.0%，而多家庭任务描述评论员的使用将验证成功率从46.0%提升至56.0%。这些数据表明该方法在提升流匹配策略推理性能方面的显著效果。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人操作、自动化任务执行和人机交互等领域。通过提高机器人在复杂环境中的决策能力，未来可能推动智能机器人在实际应用中的普及与发展。

📄 摘要（原文）

Flow-matching vision-language-action policies generate robot action chunks through an iterative transport process, creating an opportunity for test-time guidance without retraining the base policy. We study this opportunity in Guided Action Flow, an inference-time framework that keeps a pretrained SmolVLA policy frozen and uses a learned action-chunk critic to guide its reverse-time flow sampler. The critic is trained from real success and failure rollouts, can condition on task-description features from the frozen SmolVLA language pathway, and is used only through action gradients during sampling. We evaluate the approach on LIBERO manipulation tasks. A single-task critic improves success from 68.0% to 82.0% on one seed window and from 82.0% to 86.0% on another. A multi-family task-description critic improves validation success from 46.0% to 56.0%, while the locked held-out test gain is positive but modest, from 65.0% to 67.5%. These results support the feasibility of Q-guided inference for frozen flow-matching VLA policies, while showing that critic generalization and uncertainty-aware guidance remain the central bottlenecks.