FlowMPC: Improving Flow Matching policies with World Models

📄 arXiv: 2606.16286v1 📥 PDF

作者: Chandon Hamel

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-06-15

💡 一句话要点

提出FlowMPC以提升多模态行为克隆策略的表现

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行为克隆 多模态动作 模型预测控制 世界模型 机器人操作 流匹配 测试时规划

📋 核心要点

  1. 现有的Flow Matching方法未直接优化期望回报，导致在测试阶段表现不佳。
  2. 本文提出FlowMPC框架，通过引入学习的世界模型，结合MPPI规划来提升FM策略的测试表现。
  3. 实验结果显示，FlowMPC在PickCube和PickSingleYCB任务中相比单独FM策略有显著提升，尤其在任务成功率上。

📝 摘要（中文）

Flow Matching (FM) 是一种强大的多模态动作空间行为克隆方法，但由于其未直接训练以最大化期望回报，因此在测试时FM策略的表现仍有提升空间。本研究探讨了通过学习的世界模型来改善FM策略的可能性，利用模型预测路径积分（MPPI）规划候选动作序列。基于TD-MPC2，本文提出了FlowMPC框架，将模仿学习的FM策略与学习的世界模型结合，用于ManiSkill操作任务的测试时规划。在PickCube和PickSingleYCB任务中，添加世界模型显著提升了策略表现，尤其在任务结束时的成功率上。这些结果表明，基于世界模型的规划能够有效补充基于流的模仿策略，而无需修改FM的训练目标。

🔬 方法详解

问题定义：本论文旨在解决Flow Matching策略在测试阶段表现不足的问题。现有方法未能直接优化期望回报，导致在实际应用中效果不理想。

核心思路：论文提出的FlowMPC框架通过引入学习的世界模型，利用模型预测路径积分（MPPI）进行规划，从而提升FM策略在测试时的决策能力。这样的设计旨在通过更精准的动作序列选择来提高成功率。

技术框架：FlowMPC框架主要包括两个模块：模仿学习的FM策略和学习的世界模型。FM策略生成候选动作序列，而世界模型则用于评估这些序列的潜在效果，最终通过MPPI进行优化选择。

关键创新：FlowMPC的核心创新在于将世界模型与FM策略结合，形成了一种新的测试时规划方法。这一方法与传统的FM策略相比，能够在不改变训练目标的情况下，显著提升策略的实际表现。

关键设计：在设计中，FlowMPC采用了TD-MPC2的基础架构，关键参数设置和损失函数经过精心调整，以确保世界模型的学习效果和FM策略的兼容性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，FlowMPC在PickCube和PickSingleYCB任务中，相较于仅使用FM策略，成功率显著提高，尤其在任务结束时的表现上，显示出世界模型的有效性和必要性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶和智能制造等多模态任务场景。通过提升策略的决策能力，FlowMPC能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Flow Matching (FM) is a powerful approach for behavior cloning in multimodal action spaces [Jiang et al., 2025], but because it is not trained to directly maximize expected return, there is still room to improve how FM policies act at test time. This work investigates whether a learned world model can improve FM policies by enabling Model Predictive Path Integral (MPPI) planning over candidate action sequences proposed by the policy. Building on TD-MPC2 [Hansen et al., 2024], I introduce FlowMPC, a framework that combines an imitation-learned FM policy with a learned world model for test-time planning in ManiSkill manipulation tasks [Tao et al., 2025]. Across PickCube and PickSingleYCB, adding the world model improved performance over the FM policy alone, with especially clear gains in end-of-episode success. These results suggest that world-model-based planning can effectively complement flow-based imitation policies without modifying the FM training objective.