MSG: Multi-Stream Generative Policies for Sample-Efficient Robotic Manipulation

📄 arXiv: 2509.24956v1 📥 PDF

作者: Jan Ole von Hartz, Lukas Schweizer, Joschka Boedecker, Abhinav Valada

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-09-29

💡 一句话要点

提出多流生成策略MSG，提升机器人操作任务的样本效率和泛化能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 生成策略 多流学习 样本效率 对象中心 零样本迁移 策略组合

📋 核心要点

  1. 生成式机器人策略（如Flow Matching）具有灵活性和多模态性，但样本效率较低，难以实际应用。
  2. MSG通过训练多个对象中心策略，并在推理时组合它们，从而提高泛化性和样本效率，无需重新训练。
  3. 实验表明，MSG仅需少量演示即可学习高质量策略，在样本效率和性能上均优于单流方法，并支持零样本迁移。

📝 摘要（中文）

本文提出了一种名为多流生成策略（MSG）的推理期组合框架，旨在提高生成式机器人策略的样本效率。MSG训练多个以对象为中心的策略，并在推理时组合它们，从而提升泛化能力和样本效率。MSG具有模型无关性，可广泛应用于各种生成策略和训练范式。通过在仿真和真实机器人上的大量实验表明，该方法仅需少量（五个）演示即可学习高质量的生成策略，与单流方法相比，演示次数减少了95%，策略性能提高了89%。此外，本文还对各种组合策略进行了全面的消融研究，并为部署提供了实用的建议。最后，MSG实现了零样本对象实例迁移。代码已公开。

🔬 方法详解

问题定义：现有的生成式机器人策略，如Flow Matching，虽然具有灵活性和多模态性，但在样本效率方面存在不足。虽然以对象为中心的策略可以提高样本效率，但并没有完全解决这个问题。因此，需要一种方法，能够在少量样本下学习到具有良好泛化能力的机器人操作策略。

核心思路：MSG的核心思路是在推理时组合多个以对象为中心的策略。每个策略专注于处理场景中的特定对象或对象交互。通过组合这些策略，MSG能够更好地泛化到新的场景和对象实例，同时保持较高的样本效率。这种组合方式允许利用多个策略的优势，从而提高整体性能。

技术框架：MSG是一个推理期组合框架，包含以下主要步骤：1) 训练多个对象中心策略。每个策略都独立训练，专注于学习如何操作特定的对象或对象交互。2) 在推理时，MSG根据当前场景选择合适的策略组合。3) 将选定的策略进行组合，生成最终的机器人动作。MSG框架具有模型无关性，可以与各种生成策略和训练范式结合使用。

关键创新：MSG的关键创新在于其推理期组合机制。与传统的单流策略相比，MSG能够利用多个策略的优势，从而提高泛化能力和样本效率。此外，MSG的组合机制允许零样本对象实例迁移，即在没有见过特定对象实例的情况下，也能成功地操作该对象。

关键设计：MSG的关键设计包括：1) 对象中心策略的训练方式：每个策略都使用少量演示数据进行训练，并采用合适的损失函数来优化策略性能。2) 策略组合机制：MSG采用多种策略组合方式，包括加权平均、选择最佳策略等。通过消融实验，选择最优的组合方式。3) 对象选择机制：MSG需要根据当前场景选择合适的策略。可以使用简单的启发式方法，也可以使用更复杂的机器学习模型。

📊 实验亮点

实验结果表明，MSG在仿真和真实机器人上均取得了显著的性能提升。在真实机器人实验中，MSG仅需5个演示即可学习高质量的生成策略，与单流方法相比，演示次数减少了95%，策略性能提高了89%。此外，MSG还实现了零样本对象实例迁移，能够成功操作未见过的对象。

🎯 应用场景

MSG可应用于各种机器人操作任务，例如物体抓取、装配、操作工具等。该方法尤其适用于需要高样本效率和良好泛化能力的场景，例如在家庭服务机器人、工业自动化等领域。MSG的零样本迁移能力使其能够快速适应新的环境和任务，降低了部署成本。

📄 摘要（原文）

Generative robot policies such as Flow Matching offer flexible, multi-modal policy learning but are sample-inefficient. Although object-centric policies improve sample efficiency, it does not resolve this limitation. In this work, we propose Multi-Stream Generative Policy (MSG), an inference-time composition framework that trains multiple object-centric policies and combines them at inference to improve generalization and sample efficiency. MSG is model-agnostic and inference-only, hence widely applicable to various generative policies and training paradigms. We perform extensive experiments both in simulation and on a real robot, demonstrating that our approach learns high-quality generative policies from as few as five demonstrations, resulting in a 95% reduction in demonstrations, and improves policy performance by 89 percent compared to single-stream approaches. Furthermore, we present comprehensive ablation studies on various composition strategies and provide practical recommendations for deployment. Finally, MSG enables zero-shot object instance transfer. We make our code publicly available at https://msg.cs.uni-freiburg.de.