RoboProcessBench: Benchmarking Process-Aware Understanding in Vision-Language Robotic Manipulation

📄 arXiv: 2606.13040 📥 PDF

作者: Dayu Xia, Yue Shi, Yao Mu, Huiting Ji, Chaofan Ma, Yingjie Zhou, Hua Chen, Yang Liu, Jiezhang Cao, Guangtao Zhai

分类: cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出RoboProcessBench以解决视觉语言机器人操作中的过程理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉语言模型 机器人操作 过程理解 动态推理 静态监控 基准评估 多模态学习 智能机器人

📋 核心要点

  1. 现有的视觉语言模型在机器人操作的过程理解上存在显著不足，无法有效评估操作的动态进展。
  2. 本文提出RoboProcessBench基准，通过静态监控和动态推理两个维度，系统性地评估VLMs的过程意识理解能力。
  3. 实验结果表明，经过后训练的模型在局部状态和运动等方面有显著提升，展示了RoboProcessBench的有效性。

📝 摘要（中文）

随着视觉语言模型（VLMs）在机器人操作中的应用增多，它们被用作视觉评论者、奖励生成器和故障检测器。然而，现有评估未能测试VLMs是否具备细粒度的过程理解能力。为此，本文提出了RoboProcessBench，一个用于评估视觉语言机器人操作中过程意识理解的基准。RoboProcessBench将这一能力分解为静态监控和动态推理两个互补维度，涵盖了12个诊断问题类别。通过构建物理基础的执行轨迹，创建了包含约58,000个问答对的基准语料库ProcessData。对多种VLMs的广泛评估显示，当前模型在过程意识理解上仍存在显著局限性，但经过后训练的模型在局部状态、运动和进展等方面表现出一致的提升。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在机器人操作中缺乏细粒度过程理解的问题。现有方法无法有效评估操作的动态进展和过程监控，导致对任务成功的判断不够全面。

核心思路：论文提出RoboProcessBench基准，通过将过程理解能力分解为静态监控和动态推理两个维度，设计了一套系统的评估框架，以全面测试VLMs在机器人操作中的表现。

技术框架：RoboProcessBench的整体架构包括12个诊断问题类别，涵盖操作的各个方面，如阶段、接触、运动、协调等。基准语料库ProcessData包含约58,000个问答对，分为ProcessData-SFT和ProcessData-Eval，用于后训练和评估。

关键创新：RoboProcessBench的主要创新在于其系统性地评估VLMs的过程意识理解能力，填补了现有评估的空白。与传统方法相比，RoboProcessBench提供了更细致的过程监控和动态推理能力评估。

关键设计：在设计上，ProcessData的问答对是基于物理执行轨迹构建的，确保了数据的真实性和有效性。此外，后训练的模型如Qwen2.5-VL-7B和InternVL-3-8B在局部状态和运动等方面表现出一致的提升，验证了该基准的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对多种视觉语言模型的评估中，RoboProcessBench揭示了当前模型在12个诊断任务类别上的广泛局限性。经过后训练的Qwen2.5-VL-7B和InternVL-3-8B在局部状态、运动和进展等方面表现出显著提升，验证了该基准的有效性和实用性。

🎯 应用场景

RoboProcessBench的提出为机器人操作中的过程理解提供了新的评估标准，具有广泛的应用潜力。它可以用于改进机器人在复杂环境中的操作能力，提升人机协作的效率。此外，该基准也为未来的视觉语言模型研究提供了重要的参考和指导，推动了智能机器人技术的发展。

📄 摘要（原文）

Vision-language models (VLMs) are increasingly explored as visual critics, reward generators, and failure detectors in robotic manipulation. These roles implicitly require models to judge not only final task success, but also how a manipulation execution is physically and temporally progressing. However, existing evaluations fail to test whether VLMs possess fine-grained process understanding. To address this gap, we present RoboProcessBench, a benchmark for process-aware understanding in vision-language robotic manipulation. RoboProcessBench decomposes such capability into two complementary dimensions, \emph{static monitoring} and \emph{dynamic reasoning}, instantiated as 12 diagnostic question families covering phase, contact, motion, coordination, primitive-local progress, temporal order, outcome, and primitive-level transitions. Built from physically grounded execution traces, the curated benchmark corpus ProcessData contains \textasciitilde 58k question-answer pairs across 260 manipulation tasks, which is further split into ProcessData-SFT and ProcessData-Eval for post-training and evaluation purposes. Extensive evaluation of various VLMs on ProcessData-Eval reveals broad limitations across 12 diagnostic task families, suggesting current models still lack robust process-aware understanding of manipulation executions. But with ProcessData-SFT, the post-trained \textit{Qwen2.5-VL-7B} and \textit{InternVL-3-8B} exhibit consistent gains on local state, motion, progress, and primitive-aware cues. These results demonstrate that RoboProcessBench serves as both an evaluation benchmark and a learnable supervision source for developing VLMs capable of monitoring and evaluating robotic manipulation processes. Project webpage: \href{this https URL}{this https URL}.