On Bringing Robots Home
作者: Nur Muhammad Mahi Shafiullah, Anant Rai, Haritheja Etukuru, Yiqian Liu, Ishan Misra, Soumith Chintala, Lerrel Pinto
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2023-11-27
备注: Project website and videos are available at https://dobb-e.com, technical documentation for getting started is available at https://docs.dobb-e.com, and code is released at https://github.com/notmahi/dobb-e
💡 一句话要点
提出Dobb-E以解决家庭机器人通用性不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 家庭机器人 通用性 机器人学习 演示收集 智能助手 适应性 开源
📋 核心要点
- 现有家庭机器人通常只能执行单一任务，缺乏通用性和适应性，难以满足用户多样化的需求。
- Dobb-E通过低成本的演示收集工具，能够在短时间内学习新任务，旨在实现家庭环境中的通用机器人操作。
- 在纽约市的实验中，Dobb-E在109个任务中取得了81%的成功率，展示了其在真实家庭环境中的有效性和适应能力。
📝 摘要（中文）
在历史上，我们成功地将各种机器整合到家庭中，如洗碗机、洗衣机和机器人吸尘器等。然而，这些机器通常只能有效地执行单一任务。本文提出了一种名为Dobb-E的通用系统，旨在实现家庭环境中的机器人操作学习。Dobb-E能够通过用户的五分钟演示快速学习新任务，借助我们开发的低成本演示收集工具（“The Stick”）。我们在纽约市的22个家庭中收集了13小时的数据，并训练了家庭预训练表示（HPR）。在新的家庭环境中，Dobb-E在仅用五分钟演示和十五分钟适应HPR模型后，能够可靠地完成任务，成功率达到81%。我们的实验揭示了许多在实验室机器人中未被考虑的独特挑战。为了加速家庭机器人研究，我们将Dobb-E的软件栈、模型、数据和硬件设计开源。
🔬 方法详解
问题定义：本文旨在解决家庭机器人在多任务处理中的通用性不足问题。现有方法通常依赖于复杂的编程和高成本的设备，限制了家庭机器人的普及和应用。
核心思路：Dobb-E的核心思路是通过用户演示快速学习新任务，利用低成本的演示收集工具（“The Stick”）来简化学习过程，使机器人能够适应家庭环境中的多样化需求。
技术框架：Dobb-E的整体架构包括演示收集、数据训练和任务执行三个主要模块。首先，通过“Stick”收集用户演示数据，然后训练家庭预训练表示（HPR），最后在新的家庭环境中执行任务。
关键创新：Dobb-E的主要创新在于其低成本的演示收集工具和快速学习能力，使得机器人能够在短时间内适应新的任务。这一设计与传统的高成本、复杂编程的机器人系统形成鲜明对比。
关键设计：在技术细节上，Dobb-E采用了简单的硬件设计和高效的数据处理算法，确保了在不同家庭环境中都能保持较高的学习效率和任务执行能力。
🖼️ 关键图片
📊 实验亮点
在为期约30天的实验中，Dobb-E在10个家庭中测试了109个任务，成功率达到81%。这一结果不仅展示了其在真实家庭环境中的有效性，还揭示了许多在实验室中未被考虑的独特挑战，如强阴影和非专业用户的演示质量变化。
🎯 应用场景
Dobb-E的研究成果具有广泛的应用潜力，尤其是在家庭自动化和智能助手领域。通过提升家庭机器人的通用性和适应性，未来有望实现更高效的家庭管理和服务，甚至可能在每个家庭中实现机器人管家的愿景。
📄 摘要（原文）
Throughout history, we have successfully integrated various machines into our homes. Dishwashers, laundry machines, stand mixers, and robot vacuums are a few recent examples. However, these machines excel at performing only a single task effectively. The concept of a "generalist machine" in homes - a domestic assistant that can adapt and learn from our needs, all while remaining cost-effective - has long been a goal in robotics that has been steadily pursued for decades. In this work, we initiate a large-scale effort towards this goal by introducing Dobb-E, an affordable yet versatile general-purpose system for learning robotic manipulation within household settings. Dobb-E can learn a new task with only five minutes of a user showing it how to do it, thanks to a demonstration collection tool ("The Stick") we built out of cheap parts and iPhones. We use the Stick to collect 13 hours of data in 22 homes of New York City, and train Home Pretrained Representations (HPR). Then, in a novel home environment, with five minutes of demonstrations and fifteen minutes of adapting the HPR model, we show that Dobb-E can reliably solve the task on the Stretch, a mobile robot readily available on the market. Across roughly 30 days of experimentation in homes of New York City and surrounding areas, we test our system in 10 homes, with a total of 109 tasks in different environments, and finally achieve a success rate of 81%. Beyond success percentages, our experiments reveal a plethora of unique challenges absent or ignored in lab robotics. These range from effects of strong shadows, to variable demonstration quality by non-expert users. With the hope of accelerating research on home robots, and eventually seeing robot butlers in every home, we open-source Dobb-E software stack and models, our data, and our hardware designs at https://dobb-e.com