PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data
作者: Kewei Zhang, Juncheng Ma, Guodong Lv, Duomin Wang, Feixiang Ruan, Ruiyang Si, Chuanrui Zhang, Yuxuan Chen, Hao Chen, Yichen Liu, Yintianrun Zhang, Yufan Deng, Enze Xie, Daquan Zhou
分类: cs.RO, cs.AI
发布日期: 2026-11-03
备注: 22 pages, 9 figures, 9 tables. Project page: https://dagroup-pku.github.io/PyRUA-Lean/DataFarm Code: https://github.com/DAGroup-PKU/PyRUA-Lean/tree/DataFarm
💡 一句话要点
提出PyRUA-DataFarm以降低机器人数据收集成本
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 远程操作 机器人演示 数据收集 编码代理 模拟环境 成本效率 自动化任务重建
📋 核心要点
- 现有的远程操作方法在数据收集上效率低下，导致每个新任务都需从头开始，增加了时间和成本。
- 本文提出的DataFarm利用编码代理自动化任务重建，减少了对人工远程操作的依赖，显著降低了成本。
- 实验结果表明，仅使用农场数据训练的策略在多个任务中表现出色，成功率接近传统远程操作方法，且适应新任务的成本显著降低。
📝 摘要（中文）
远程操作仍然是收集机器人演示的默认方式，但每次操作都消耗机器人和操作员的时间，且每项新任务都需从头开始。本文探讨了编码代理是否可以取代远程操作员的工作。在DataFarm中，代理接收数据请求和目标场景中的一次校准演示，并在模拟中重建任务：它编写场景、专家控制器和成功判定。模拟器提供精确的动作，基于真实图像的渲染模型生成每次回合的摄影视频，生成所有相机视角的同步数据。输出为真实可用的数据：标记有机器人动作的同步相机视图，可直接用于训练策略并部署到真实机器人上。独立评审员在录取前认证专家和每个渲染回合。在五个真实机器人任务中，仅基于农场数据训练的策略在100次试验中取得93次成功，接近基于远程操作的84次成功，并在未见的桌布和彩色光照下保持87次成功，而远程操作训练的策略仅为46次。
🔬 方法详解
问题定义：本文旨在解决远程操作在机器人演示收集中的高成本和低效率问题。现有方法需要大量的人工干预，导致每个新任务都需重新开始，增加了时间和经济负担。
核心思路：论文提出的核心思路是利用编码代理自动化任务重建过程。代理在接收到数据请求和一次校准演示后，能够在模拟环境中重建任务，从而消除对人工远程操作员的需求。
技术框架：整体架构包括数据请求接收、任务重建、模拟执行和结果渲染四个主要模块。代理首先分析数据请求，然后生成场景和控制器，最后通过模拟器执行并渲染结果。
关键创新：最重要的技术创新在于将编码代理与模拟环境结合，能够在真实场景中生成高质量的训练数据。这种方法与传统的依赖人工操作的方式本质上不同，显著提高了效率和降低了成本。
关键设计：在设计中，代理使用特定的损失函数来优化控制器的性能，同时采用基于真实图像的渲染模型确保生成的视频质量。关键参数设置包括API使用成本和渲染合同的费用，确保整体成本控制在合理范围内。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于农场数据训练的策略在五个真实机器人任务中取得93次成功，接近传统远程操作的84次成功。在复杂环境下，农场数据训练的策略保持87次成功，而远程操作训练的策略仅为46次，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人自动化、智能制造和服务机器人等。通过降低数据收集成本和提高效率，PyRUA-DataFarm可以促进机器人技术的广泛应用，推动相关行业的智能化进程。未来，该方法有望在更多复杂任务和动态环境中得到应用，进一步提升机器人自主学习和适应能力。
📄 摘要（原文）
Teleoperation remains the default way to collect robot demonstrations, but every episode costs robot and operator time, and every new task starts from scratch. We ask whether a coding agent can take over the teleoperator's job. In our DataFarm, the agent receives a data request and one calibration episode of the robot in the target scene and rebuilds the task in simulation: it writes the scene, an expert controller, and a success judge. The simulator supplies exact actions, and a video model conditioned on real images renders each rollout as photographic video, generating all camera views together consistently. The output is real-ready data: synchronized camera views labelled with the robot's actions, on which a policy can be trained directly and deployed on the real robot. Independent judges certify the expert and every rendered episode before admission. On five real-robot tasks, policies trained only on farm data match policies trained on as many teleoperated episodes (93 vs. 84 successes in 100 trials), and under an unseen tablecloth and coloured light they keep 87 successes where the teleoperation-trained policies fall to 46. Adapting a task is fully automatic and costs \$21 of API usage on average, paid once per task, plus \$5 for a render contract; every further episode costs \$0.80 on average for simulation, rendering, and review, with no robot or operator. One hour of three-view data for a task costs \$107 on average, these costs included, slightly below a quote of \$117 for teleoperation in China and below \$290 in labour alone in North America.