Scalable Behavior Cloning with Open Data, Training, and Evaluation
作者: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, Angjoo Kanazawa
分类: cs.RO
发布日期: 2026-06-25
备注: 30 pages. Project page: https://abc.bot
💡 一句话要点
提出ABC以解决行为克隆中的数据获取与训练问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 行为克隆 开源数据集 机器人操作 训练基础设施 仿真评估 模型优化 灵巧任务
📋 核心要点
- 现有的行为克隆方法在数据获取和训练效率上存在不足，限制了其在复杂任务中的应用。
- 论文提出了ABC框架，结合了大规模开源数据集和训练基础设施，旨在提升行为克隆的可扩展性和实用性。
- 实验结果表明，所提出的策略在执行复杂任务时表现优异，成功实现了多项灵巧操作，验证了方法的有效性。
📝 摘要（中文）
我们介绍了ABC，一个完全开源的行为克隆操作堆栈。其核心是ABC-130K：迄今为止最大的开源远程操作数据集，包含3500小时的数据，涵盖195个多样化任务的130K个情节。此外，我们开源了可访问的硬件设置、训练基础设施和仿真管道。我们还发布了400小时的仿真-远程操作数据，并提供了一种共同训练的方案，能够在成本高昂的现实世界评估之前，可靠地评估模型设计和训练决策。我们探索了多种训练方案，并比较了扩散变换器（DiT）和视觉-语言-动作（VLA）模型的常见架构选择，结果显示所得到的策略能够成功执行诸如折叠盒子和从钱包中提取信用卡等灵巧任务。通过提供可重复的工具包，我们旨在让研究人员处于同一水平，共同建立学习行为克隆基础的必要基础。
🔬 方法详解
问题定义：本论文旨在解决行为克隆中数据获取不足和训练效率低下的问题。现有方法通常依赖于有限的数据集，难以在多样化任务中取得良好表现。
核心思路：论文提出的ABC框架通过开源大规模数据集和训练基础设施，提供了一个可扩展的解决方案，旨在提升行为克隆的训练效率和效果。
技术框架：整体架构包括数据收集模块（ABC-130K数据集）、训练模块（支持多种模型架构）、仿真评估模块（提供仿真-远程操作数据），并通过共同训练策略实现模型的优化。
关键创新：最重要的技术创新在于开源的ABC-130K数据集和400小时的仿真-远程操作数据，这为行为克隆提供了丰富的训练和评估资源，显著提升了模型的泛化能力。
关键设计：在模型设计上，论文比较了扩散变换器（DiT）和视觉-语言-动作（VLA）模型的不同架构选择，并通过实验验证了其在实际任务中的表现，确保了模型设计的合理性和有效性。
📊 实验亮点
实验结果显示，所提出的策略在执行复杂灵巧任务时表现优异，成功完成了如折叠盒子和从钱包中提取信用卡等任务，验证了模型的有效性和实用性。与基线相比，模型在多个任务上均有显著提升，展示了ABC框架的强大能力。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、智能家居等，能够为这些领域提供高效的行为克隆解决方案。通过开源的工具和数据集，研究人员可以更容易地进行相关研究，推动技术进步，提升实际应用的智能化水平。
📄 摘要（原文）
We introduce ABC, a fully open-source stack for manipulation with behavior cloning. At its core is ABC-130K: the largest open-source teleoperation dataset to date, featuring 3,500 hours of data spanning over 130K episodes across 195 diverse tasks. Furthermore, we open-source our accessible hardware setup, training infrastructure, and simulation pipeline. We also release 400 hours of sim-teleop data and provide a co-training recipe that produces correlated simulation and real-world evaluation, offering a reliable proxy for ablating model-design and training decisions before costly real-world evaluation. We explore various training recipes and compare common architectural choices for Diffusion Transformers (DiT) and Vision-Language-Action (VLA) models, grounding our findings in real-world evaluations. The resulting policies successfully execute dexterous tasks such as box folding and extracting credit cards from wallets. By providing a reproducible toolkit, we aim to place researchers on an equal footing, establishing the necessary foundation to learn the ABCs of Behavior Cloning together as a community.