MolmoSpaces-CommonSense: Evaluating Commonsense in Robotic Manipulation Policies
作者: Arjun Guru, Max Argus, Jae Sung Park, Jiafei Duan, Ali Farhadi, Ranjay Krishna
分类: cs.RO
发布日期: 2026-10-30
备注: Project page: https://github.com/allenai/molmospaces
🔗 代码/项目: GITHUB
💡 一句话要点
提出MolmoSpaces-CommonSense以解决机器人操作中的常识推理问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人操作 常识推理 杂乱场景 任务基准 视觉语言模型 零-shot学习 认知科学
📋 核心要点
- 现有的机器人操作基准主要集中在低级执行，未能有效测试常识推理能力，导致在复杂环境中表现不佳。
- 本文提出MolmoSpaces-CommonSense基准，要求机器人在操作中进行多种形式的常识推理，以提升其在真实场景中的表现。
- 实验结果显示，现有策略在杂乱场景中的成功率显著下降，且对物体的识别和抓取准确性不足，表明现有基准可能高估了模型的实际应用能力。
📝 摘要（中文）
现实世界中的机器人操作需要对杂乱场景、部分可观察或隐藏物体以及语义上适当的动作进行推理，而现有的模拟基准主要测试低级执行，且环境相对干净，任务结构狭窄，未能充分测试常识推理。为此，本文引入了一种基于发展认知科学的机器人操作推理过程分类法，并通过新的基准MolmoSpaces-CommonSense进行操作化，要求机器人在执行任务时考虑遮挡、包含、支撑关系、语义正确的抓取点、空间可用性和隐藏物体等因素。实验表明，现有的零-shot 通用操作策略在杂乱场景中的成功率下降超过50%。
🔬 方法详解
问题定义：本文旨在解决机器人操作中常识推理不足的问题，现有方法在复杂和杂乱环境中表现不佳，无法有效处理遮挡和隐藏物体等情况。
核心思路：通过引入MolmoSpaces-CommonSense基准，论文要求机器人在执行任务时进行多种形式的常识推理，提升其在真实世界中的适应能力。
技术框架：整体架构包括任务设计、场景构建和评估指标，主要模块包括对遮挡、支撑关系和抓取点的推理能力评估。
关键创新：最重要的创新在于引入了基于发展认知科学的推理过程分类法，填补了现有基准在常识推理测试方面的空白。
关键设计：在实验中，采用了多种零-shot通用操作策略，并设置了针对性的评估指标，关注在杂乱场景中的表现和对物体的正确识别与抓取。
🖼️ 关键图片
📊 实验亮点
实验结果显示，随着干扰物的增加，机器人在杂乱场景中的成功率下降超过50%，且在复杂环境中，策略错误地作用于不相关物体的概率高达30%。此外，基于视觉语言模型的成功估计在这些设置中表现不佳，表明控制与感知-推理-行动的整体挑战。
🎯 应用场景
该研究的潜在应用领域包括智能家居、服务机器人和工业自动化等，能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和未来影响。通过改进常识推理能力，机器人能够更好地适应动态和不确定的环境，执行更复杂的任务。
📄 摘要（原文）
Real-world robotic manipulation requires reasoning about cluttered scenes, partially observable or hidden objects, and semantically appropriate actions, in addition to low-level execution within those scenes. However, existing simulation benchmarks primarily test the latter and remain dominated by comparatively clean environments with limited clutter and narrowly scoped task structure, leaving many forms of commonsense reasoning untested. We address this by introducing a taxonomy of reasoning processes for robotic manipulation grounded in developmental cognitive science. We operationalize this taxonomy through a new benchmark of robot tasks, MolmoSpaces-CommonSense, that requires reasoning about occlusion, containment, support relations, semantically correct grasp points, spatial affordances, and hidden objects. These evaluations require policies not only to recognize relevant scene structure but also to execute correct actions in them. We evaluate several zero-shot generalist manipulation policies. Across model types and architectures, we observe consistent failures in commonsense reasoning: success rates in cluttered scenes drop by over 50% as distractors increase, policies act on incorrect objects in cluttered settings 30% of the time, and affordance-sensitive grasping remains unreliable even with highly specific language prompts, with correct object part selection happening only about 50% of the time. Further, VLM-based success estimation struggles to reliably evaluate rollouts in these settings, suggesting that the challenge extends beyond control to the broader perception-reasoning-action stack. Our results suggest that existing benchmarks may substantially overestimate zero-shot real-world readiness. Code and policy leaderboard link at https://github.com/allenai/molmospaces.