ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies

📄 arXiv: 2606.16826v1 📥 PDF

作者: Zenan Wu, Bingqing Wei, Lu Liu, Zheqi He, Xi Wang, Jiakang Liu, Zehui Li, Guocai Yao, Jing-Shu Zheng, Xi Yang, Yongtao Wang

分类: cs.RO, cs.AI

发布日期: 2026-06-15

备注: Homepage: https://flageval-baai.github.io/AtomBenchPage

💡 一句话要点

提出ATOM-Bench以评估机器人操作中的原子技能与组合泛化能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 原子技能 组合泛化 真实世界基准 策略评估 人类演示数据 物理实验

📋 核心要点

  1. 现有的通用操作策略在真实环境中的泛化能力难以诊断，尤其是在细粒度技能和组合任务上表现不佳。
  2. ATOM-Bench通过将操作任务分解为运动原子和指令原子，提供了一种新的评估框架，包含多种原子和组合任务。
  3. 实验结果显示，当前策略在简单指令技能上表现良好，但在细粒度运动原子和组合任务上仍存在显著不足。

📝 摘要（中文）

通用操作策略被视为机器人控制的基础模型，但其在真实环境中的泛化能力仍难以评估。策略可能在演示任务上成功，但在执行细粒度原子技能或在新任务结构中重新组合学习技能时仍会失败。本文提出了ATOM-Bench，一个用于评估操作策略中原子技能和组合泛化的真实世界基准。ATOM-Bench将桌面操作分解为运动原子和指令原子，包含30个原子任务和24个保留的组合任务，并收集了3000个用于原子微调的人类演示数据，支持可重复的真实世界评估。

🔬 方法详解

问题定义：本文旨在解决现有机器人操作策略在真实环境中泛化能力不足的问题，尤其是在细粒度原子技能和组合任务的执行上存在挑战。现有方法难以有效评估策略在不同任务结构中的表现。

核心思路：ATOM-Bench通过将桌面操作任务分解为运动原子和指令原子，提供了一种系统化的评估方式，能够更好地诊断策略在原子技能和组合泛化方面的表现。

技术框架：ATOM-Bench的整体架构包括原子任务和组合任务的设计，收集人类演示数据用于策略微调，并通过Atomic Score和Compositional Failure Share来评估策略性能。

关键创新：ATOM-Bench的主要创新在于其将操作任务细分为运动原子和指令原子，并引入新的评估指标，能够有效区分因技能不足或组合能力有限导致的失败。

关键设计：在实验中，设置了3000个演示数据用于微调，采用了特定的损失函数来优化策略在原子任务上的表现，同时通过2700次物理实验验证了策略在组合任务上的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前的操作策略在简单指令技能上表现良好，但在细粒度运动原子和组合任务上仍存在显著不足。具体而言，策略在原子技能获取上表现强劲，但在保留的组合任务中表现不佳，显示出强大的原子性能并不一定能转移到组合任务上。

🎯 应用场景

ATOM-Bench的研究成果可以广泛应用于机器人操作领域，尤其是在需要高精度和灵活性的任务中，如工业自动化、服务机器人和医疗机器人等。通过提升机器人在复杂环境中的操作能力，未来可能推动智能机器人在更多实际场景中的应用。

📄 摘要（原文）

Generalist manipulation policies are increasingly presented as foundation models for robotic control, but their real-world generalization remains difficult to diagnose. A policy may succeed on demonstrated tasks while still failing to execute fine-grained atomic skills or recombine learned skills in new task structures. We introduce \textbf{ATOM-Bench}, a real-world benchmark for evaluating both atomic skills and compositional generalization in manipulation policies. ATOM-Bench factorizes tabletop manipulation into motor atoms and instruction atoms, and contains 30 atomic tasks and 24 held-out compositional tasks across paired single-arm and dual-arm robot tracks. We collect 3,000 human demonstrations for atomic fine-tuning and release both the demonstration data and evaluation rollout data to support reproducible real-world evaluation. Policies are fine-tuned on atomic tasks and evaluated on both atomic skill acquisition and held-out compositional tasks. We further introduce Atomic Score (AS) and Compositional Failure Share (CFS) to distinguish failures caused by weak atomic skills from failures caused by limited compositional reuse. Through 2,700 physical rollouts on five representative manipulation policies, we find that current policies can acquire simple instruction-grounding skills, but still struggle with fine-grained motor atoms, counting, and logical filtering. More importantly, strong atomic performance does not reliably transfer to held-out compositional tasks. ATOM-Bench provides a diagnostic testbed for studying whether failures arise from weak motor execution, poor instruction grounding, or limited compositional reuse.