ArtiBench and ArtiBrain: Benchmarking Generalizable Vision-Language Articulated Object Manipulation

📄 arXiv: 2511.20330v2 📥 PDF

作者: Yuhan Wu, Tiantian Wei, Shuo Wang, ZhiChao Wang, Yanyong Zhang, Daniel Cremers, Yan Xia

分类: cs.RO, cs.CV

发布日期: 2025-11-25 (更新: 2025-11-27)

💡 一句话要点

提出ArtiBench和ArtiBrain，用于评估和提升通用视觉语言可动对象操作能力。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 可动对象操作 视觉语言模型 机器人操作 泛化能力 可供性学习

📋 核心要点

  1. 现有视觉语言和扩散模型在可动对象操作中泛化性不足，难以应对部件、实例和类别的变化。
  2. ArtiBrain框架结合VLM推理器分解任务，以及混合控制器实现精确操作，并利用可供性记忆库提升泛化能力。
  3. ArtiBrain在ArtiBench基准测试中，显著优于现有方法，展现了更强的鲁棒性和泛化性能。

📝 摘要（中文）

本文提出ArtiBench，一个包含厨房、储藏室、办公室和工具环境的五级基准，用于评估可动对象操作的泛化能力。现有基于视觉语言和扩散模型的策略难以在部件、实例和类别之间泛化。ArtiBench通过跨部件、跨实例的变体到长时程多对象任务的结构化评估，揭示了可动对象操作的核心泛化挑战。在此基础上，本文提出了ArtiBrain，一个统一高层推理和自适应底层控制的模块化框架。ArtiBrain使用基于VLM的任务推理器（GPT-4.1）分解和验证子目标，并采用混合控制器，结合几何感知的关键帧执行和可供性引导的扩散，实现精确和可解释的操作。可供性记忆库不断积累成功的执行片段，并将部件级可操作的可供性传播到未见过的可动部件和配置。在ArtiBench上的大量实验表明，ArtiBrain在鲁棒性和泛化性方面显著优于最先进的多模态和基于扩散的方法。代码和数据集将在接收后发布。

🔬 方法详解

问题定义：现有基于视觉语言和扩散模型的机器人操作方法在处理可动对象时，难以泛化到新的部件、实例和类别。这些方法通常缺乏对可动对象内在结构和操作逻辑的理解，导致在复杂场景和长时程任务中表现不佳。现有的评估基准也缺乏对泛化能力的细粒度评估。

核心思路：本文的核心思路是将高层任务推理与底层运动控制解耦，并引入可供性学习机制来提升泛化能力。通过VLM进行高层推理，分解任务并验证子目标，确保任务的逻辑正确性。通过混合控制器，结合几何感知的关键帧执行和可供性引导的扩散，实现精确的操作。通过可供性记忆库，积累经验并泛化到新的对象和场景。

技术框架：ArtiBrain框架包含三个主要模块：任务推理器、混合控制器和可供性记忆库。任务推理器基于GPT-4.1，负责将高层任务分解为一系列子目标，并验证子目标的可行性。混合控制器结合几何感知的关键帧执行和可供性引导的扩散，实现精确的操作。可供性记忆库存储成功的操作片段，并提取部件级的可供性信息，用于指导新的操作任务。

关键创新：ArtiBrain的关键创新在于：1) 提出了ArtiBench基准，用于细粒度评估可动对象操作的泛化能力；2) 提出了ArtiBrain框架，将高层推理与底层控制解耦，并引入可供性学习机制；3) 提出了混合控制器，结合了几何感知和可供性引导的优势。

关键设计：任务推理器使用GPT-4.1，通过prompt工程来指导任务分解和验证。混合控制器使用几何感知的关键帧执行来快速接近目标，然后使用可供性引导的扩散来精细调整。可供性记忆库使用哈希表来存储操作片段，并使用相似性度量来检索相关的可供性信息。损失函数包括运动学约束损失、碰撞避免损失和目标达成损失。

📊 实验亮点

ArtiBrain在ArtiBench基准测试中取得了显著的性能提升。例如，在跨部件泛化任务中，ArtiBrain的成功率比最先进的方法提高了20%以上。在长时程多对象任务中，ArtiBrain的成功率也显著高于其他方法，表明其具有更强的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可应用于智能家居、自动化装配、医疗机器人等领域。例如，在智能家居中，机器人可以根据用户的指令，操作各种家用电器，如打开冰箱门、调节烤箱温度等。在自动化装配中，机器人可以灵活地操作各种零部件，完成复杂的装配任务。在医疗机器人中，机器人可以辅助医生进行手术，提高手术的精度和效率。

📄 摘要（原文）

Interactive articulated manipulation requires long-horizon, multi-step interactions with appliances while maintaining physical consistency. Existing vision-language and diffusion-based policies struggle to generalize across parts, instances, and categories. We first introduce ArtiBench, a five-level benchmark covering kitchen, storage, office, and tool environments. ArtiBench enables structured evaluation from cross-part and cross-instance variation to long-horizon multi-object tasks, revealing the core generalization challenges of articulated object manipulation. Building on this benchmark, we propose ArtiBrain, a modular framework that unifies high-level reasoning with adaptive low-level control. ArtiBrain uses a VLM-based Task Reasoner (GPT-4.1) to decompose and validate subgoals, and employs a Hybrid Controller that combines geometry-aware keyframe execution with affordance-guided diffusion for precise and interpretable manipulation. An Affordance Memory Bank continually accumulates successful execution episodes and propagates part-level actionable affordances to unseen articulated parts and configurations. Extensive experiments on ArtiBench show that our ArtiBrain significantly outperforms state-of-the-art multimodal and diffusion-based methods in robustness and generalization. Code and dataset will be released upon acceptance.