Pixel: A Co-Designed Full-Stack Robot System for Learning General-Purpose Mobile Manipulation
作者: Tony Tao, Jason Jingzhou Liu, Ruslan Salakhutdinov, Deepak Pathak
分类: cs.RO, cs.AI, cs.CV, cs.LG, eess.SY
发布日期: 2026-11-02
备注: More results at https://pixel-robot.com/pixel
💡 一句话要点
提出Pixel以解决通用移动操作中的系统集成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动操作 机器人系统 全栈设计 策略学习 人机协作
📋 核心要点
- 现有的移动操作系统通常各个组件独立开发，导致整体性能受限，难以实现高效的通用操作。
- Pixel系统通过协同设计整合了机器人硬件、数据收集和控制策略，提供了一种全面的解决方案。
- 实验结果表明，Pixel在灵巧性、感知能力和任务执行方面表现优异，展示了其在移动操作中的潜力。
📝 摘要（中文）
通用移动操作需要强大的机器人硬件、可扩展的演示收集、表达丰富的全身控制和有效的策略学习。然而，这些组件通常独立开发，导致系统能力受限。本文提出Pixel，一个协同设计的全栈系统，用于学习通用移动操作。Pixel结合了低成本的轮式人形机器人、与人类对齐的运动学和柔性抓手、多种遥操作和无机器人的人类数据收集接口、统一的全身控制器以及跨人类和机器人演示的共同策略学习管道。通过分层学习堆栈，进一步实现了基于语言的视觉运动控制和长时间任务执行。我们评估了该系统在硬件、数据收集和策略学习方面的表现，展示了需要灵巧性、主动感知、导航和全身协调的移动操作行为。
🔬 方法详解
问题定义：本文旨在解决通用移动操作中各组件独立开发导致的系统集成问题。现有方法在硬件、数据收集和控制策略之间存在不匹配，限制了系统的整体能力。
核心思路：Pixel通过协同设计将机器人硬件、数据收集接口和控制策略整合在一起，形成一个完整的学习系统。这种设计旨在提高系统的兼容性和效率，使得机器人能够更好地执行复杂任务。
技术框架：Pixel的整体架构包括低成本的轮式人形机器人、与人类对齐的运动学、柔性抓手、多个数据收集接口、统一的全身控制器以及策略学习管道。分层学习堆栈支持语言条件下的视觉运动控制和长时间任务执行。
关键创新：Pixel的主要创新在于其全栈设计理念，首次将硬件、数据收集和学习策略紧密结合，形成一个统一的系统。这种方法与传统的独立开发模式形成鲜明对比。
关键设计：在设计中，Pixel采用了人类对齐的运动学和柔性抓手，以提高操作灵活性。同时，统一的全身控制器和策略学习管道确保了不同演示之间的有效学习和迁移。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Pixel在移动操作任务中表现出色，成功实现了灵巧性、主动感知和全身协调的操作能力。与基线系统相比，Pixel在任务完成率和执行效率上有显著提升，展示了其在实际应用中的有效性。
🎯 应用场景
Pixel系统在服务机器人、家庭自动化、工业自动化等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的操作能力，Pixel可以帮助实现更高效的任务执行和人机协作，推动智能机器人技术的进步。
📄 摘要（原文）
General-purpose mobile manipulation requires a combination of capable robot hardware, scalable demonstration collection, expressive whole-body control, and effective policy learning. Yet these components are often developed independently, creating mismatches that limit the capabilities of the complete system. We present Pixel, a co-designed full-stack system for learning general-purpose mobile manipulation. Pixel combines a low-cost wheeled humanoid with human-aligned kinematics and compliant grippers, multiple teleoperation and robot-free human data-collection interfaces, a unified whole-body controller, and a common policy learning pipeline across human and robot demonstrations. A hierarchical learning stack further enables language-conditioned visuomotor control and long-horizon task execution. We evaluate the system across hardware, data collection, and policy learning, and demonstrate mobile-manipulation behaviors requiring dexterity, active perception, navigation, and whole-body coordination. We hope that Pixel provides an integrated and extensible foundation for studying how robot hardware, data, control, and learning can be designed together for robot learning. More results at https://pixel-robot.com/pixel