SO-101 Bench: Accessible Spatial Manipulation

📄 arXiv: 2610.36420v1 📥 PDF

作者: Truman Hickok

分类: cs.CV

发布日期: 2026-10-27

备注: Project page: https://so101-bench.github.io/ ; code: https://github.com/5hadytru/so101_bench

💡 一句话要点

提出SO-101 Bench以解决语言条件下空间操控的基准问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人学习 空间操控 语言条件任务 数字双胞胎 基准测试 策略评估 低成本机械臂

📋 核心要点

  1. 现有的SO-101基准无法执行复杂的语言条件空间操控任务，且仅支持简单任务和有限对象。
  2. 本文提出SO-101 Bench，利用数字双胞胎技术创建一个模拟基准，支持多样化的空间操控任务。
  3. 实验结果显示，最优策略在物理环境中保持一致性，且LLM代理的表现显著优于传统策略。

📝 摘要（中文）

低成本机械臂如SO-101已成为机器人学习的主要入门点，但现有政策无法直接在其上执行空间受限的语言条件任务。现有SO-101基准仅在物理硬件上运行简单任务，且对象数量有限。本文提出SO-101 Bench，这是一个基于真实SO-101设置的Isaac Lab数字双胞胎的模拟基准，包含四个任务、138个对象和916个评估回合。实验表明，五个无真实数据训练的策略在物理臂上表现一致，且一个编写代码的LLM代理得分达到83.2%。

🔬 方法详解

问题定义：本文旨在解决现有SO-101基准在语言条件空间操控任务中的局限性，现有方法仅支持简单任务且缺乏多样性。

核心思路：通过构建SO-101 Bench，利用数字双胞胎技术进行模拟，提供丰富的任务和对象组合，以支持复杂的语言条件操控。

技术框架：整体架构包括任务设计、对象分类、评估回合和策略排名四个主要模块，确保多样性和可重复性。

关键创新：最重要的创新在于将数字双胞胎技术应用于机器人学习基准，允许在模拟环境中进行复杂任务的评估，克服了物理环境的限制。

关键设计：设计中包括138个对象的分类、916个评估回合的设置，以及针对每个策略的统一计算预算进行微调，确保评估的公平性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，五个无真实数据训练的策略在物理环境中的排名保持一致，Spearman rho为1.00，MMRV为0.000。最优策略得分接近61%，而LLM代理得分达到83.2%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括教育、机器人研究和工业自动化等。通过提供一个标准化的基准，研究人员和开发者可以更有效地评估和比较不同的机器人学习策略，从而推动智能机器人技术的发展。未来，该基准可能会扩展到更多类型的机器人和任务，进一步提升机器人在复杂环境中的适应能力。

📄 摘要（原文）

Low-cost arms such as the SO-101 have become the most common entry point to robot learning, yet no released policy performs spatially constrained, language-conditioned tasks on them out of the box, and existing SO-101 benchmarks run only on physical hardware with simple tasks and few held-out objects. We introduce SO-101 Bench, a simulated benchmark for language-conditioned spatial manipulation built on an Isaac Lab digital twin of a real SO-101 setup. It has four tasks scored as five families, 138 objects in seen, unseen-instance and unseen-class splits, 916 evaluation episodes with subsets for held-out appearances, rotate-to-fit planning and occlusion memory, and 3,629 simulated demonstrations on which every learned policy is fine-tuned under an equal compute budget. The twin ranks policies as the real robot does: five policies trained without real data, four VLAs and an LLM agent, keep their exact ranking when the same weights run on the physical arm in an unseen environment with unseen objects (Spearman rho = 1.00, MMRV = 0.000), although simulation overestimates success. Across nine VLAs and world-action models, the best learned policies score near 61%, with spatial placement, unseen object classes and rotate-to-fit planning remaining open. An LLM agent that writes code and hands grasping to a learned policy scores 83.2%, and an ablation shows that this lead comes from the choice of harness and the choice of language model.