GUILD: Guided Iterative Data Collection for Imitation Learning
作者: Shivin Dass, Kevin Nguyen, Rohan Yelandur, Junhong Xu, Roberto Martín-Martín
分类: cs.RO, cs.LG
发布日期: 2026-11-03
💡 一句话要点
提出GUILD以解决模仿学习中的数据收集效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 数据收集 机器人 引导学习 样本效率 策略优化 视觉-语言模型
📋 核心要点
- 现有的模仿学习数据收集方法往往依赖操作者的直觉，导致收集的数据对策略性能贡献有限。
- GUILD通过引导数据收集，结合任务提议和数据评估的迭代过程，主动选择有助于提升策略性能的数据。
- 实验结果显示，GUILD在模拟和真实机器人环境中均显著提高了样本效率和部署性能，优于多种基线方法。
📝 摘要（中文）
模仿学习策略通常依赖于昂贵的真实世界遥控数据收集，现有方法往往缺乏指导，导致数据质量低下。本文提出GUILD，一种新颖的引导数据收集方法，旨在主动选择数据以最大化后续策略性能。通过任务提议与数据评估的迭代框架，结合视觉-语言模型的语义先验，GUILD有效地提高了样本效率和部署性能。实验表明，与被动数据收集策略和多个基线相比，GUILD显著提升了模仿学习的效果。
🔬 方法详解
问题定义：本文旨在解决模仿学习中数据收集效率低下的问题。现有方法往往依赖于操作者的直觉进行数据收集，导致收集的数据质量不高，无法有效提升策略性能。
核心思路：GUILD的核心思路是引导数据收集过程，通过任务提议与数据评估的迭代框架，主动选择对策略性能有积极影响的数据。利用视觉-语言模型的语义先验，识别相关环境和目标，从而优化数据收集。
技术框架：GUILD的整体架构包括两个主要模块：1) 任务提议与数据收集，利用语义先验确定数据收集的环境和目标；2) 数据评估，通过预测数据归因来评估收集的轨迹对策略性能的影响，形成反馈以指导后续的数据收集。
关键创新：GUILD的创新在于其主动引导数据收集的能力，区别于传统的被动数据收集方法。通过闭环反馈机制，GUILD能够在数据收集过程中不断优化数据质量，提升策略性能。
关键设计：在设计上，GUILD利用视觉-语言模型提取语义信息，并通过预测数据归因来评估数据的有效性。具体的参数设置和损失函数设计尚未详细说明，需进一步研究。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GUILD在模拟和真实机器人环境中均显著提高了样本效率和部署性能。与被动数据收集策略相比，GUILD在策略性能上提升了XX%，在多个基线方法中表现出色，证明了其有效性和实用性。
🎯 应用场景
GUILD的研究成果在机器人领域具有广泛的应用潜力，尤其是在需要高效数据收集和策略优化的场景中，如自主驾驶、服务机器人和工业自动化等。通过提高数据收集的效率，GUILD能够降低训练成本，加速机器人学习过程，提升实际应用的性能和可靠性。
📄 摘要（原文）
Imitation learning policies in robotics are trained on datasets collected through costly real-world teleoperation. Often, the data-collection process is unguided, relying on the teleoperator's intuition, resulting in data that contributes little to overall policy performance. Recent work has shown that curating such unguided datasets can substantially improve policy performance, but these approaches operate by filtering existing datasets after collection and therefore do not prevent the acquisition of uninformative data. In this work, we propose GUILD, a novel Guided Data Collection (GDC) method that actively reasons about which data should be collected to maximize downstream policy performance. We introduce an iterative framework that alternates between 1) task proposal and data collection and 2) data evaluation to close the loop. For task proposal, we leverage semantic priors from vision-language models to identify relevant environments, object configurations, and goals for data collection. However, since semantic relevance does not imply policy improvement, we perform data evaluation. By leveraging predictive data attribution we approximate how the collected trajectories influence policy performance on a target deployment setting. This signal is then used as feedback to guide subsequent data collection, closing the data collection loop. We evaluate our approach in simulation and real robot settings, demonstrating that guided data collection substantially improves sample efficiency and deployment performance compared to passive data collection strategies, multiple baselines and experienced roboticists. More information at https://robin-lab.cs.utexas.edu/guild2026/