RoboProcessBench: Benchmarking Process-Aware Understanding in Vision-Language Robotic Manipulation

📄 arXiv: 2606.13040v1 📥 PDF

作者: Dayu Xia, Yue Shi, Yao Mu, Huiting Ji, Chaofan Ma, Yingjie Zhou, Hua Chen, Yang Liu, Jiezhang Cao, Guangtao Zhai

分类: cs.RO

发布日期: 2026-06-11

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出RoboProcessBench以解决视觉语言机器人操作过程理解不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉语言模型 机器人操作 过程理解 动态推理 静态监控 基准测试 多模态学习 智能自动化

📋 核心要点

  1. 现有的视觉语言模型在机器人操作的过程理解上存在显著不足，无法细致评估操作的物理和时间进展。
  2. 本文提出RoboProcessBench基准，通过静态监控和动态推理两个维度，系统性地评估VLMs在操作过程中的理解能力。
  3. 实验结果显示，经过后训练的Qwen2.5-VL-7B和InternVL-3-8B模型在多个任务上表现出显著提升，表明该基准的有效性。

📝 摘要（中文）

随着视觉语言模型（VLMs）在机器人操作中的应用日益增多，这些模型不仅需要评估最终任务的成功，还需理解操作执行的物理和时间进展。然而，现有评估方法未能有效测试VLMs的细粒度过程理解能力。为此，本文提出了RoboProcessBench，一个用于评估视觉语言机器人操作过程理解的基准。该基准将能力分解为静态监控和动态推理两个互补维度，涵盖12个诊断问题家族。通过构建包含约58,000个问答对的ProcessData数据集，研究表明当前模型在过程理解方面仍存在广泛局限，但经过后训练的模型在局部状态、运动和进展等方面表现出一致的提升。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在机器人操作过程理解方面的不足，尤其是在细粒度过程监控和动态推理能力的缺失。

核心思路：提出RoboProcessBench基准，通过静态监控和动态推理两个维度，系统性地评估和提升VLMs的过程理解能力，确保模型能够有效判断操作的进展情况。

技术框架：RoboProcessBench由两个主要模块组成：ProcessData数据集和12个诊断问题家族。ProcessData包含约58,000个问答对，分为后训练和评估两个部分，确保模型在不同阶段的学习和评估。

关键创新：最重要的创新在于将过程理解能力细分为静态监控和动态推理两个维度，并通过具体的诊断问题家族进行系统评估，这在现有文献中尚属首次。

关键设计：在数据集构建中，采用了物理基础的执行轨迹，确保问答对的真实性和有效性，同时在模型训练中引入了针对性损失函数，以提升模型在局部状态和运动理解上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对ProcessData-Eval的广泛评估中，发现当前VLMs在12个诊断任务家族中普遍存在局限性。然而，经过后训练的Qwen2.5-VL-7B和InternVL-3-8B模型在局部状态、运动、进展和原始感知线索等方面表现出一致的提升，显示出显著的性能改进。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化生产线和人机交互系统等。通过提升视觉语言模型的过程理解能力，可以显著增强机器人在复杂环境中的操作能力，提高任务执行的灵活性和准确性，未来可能推动更广泛的智能自动化应用。

📄 摘要（原文）

Vision-language models (VLMs) are increasingly explored as visual critics, reward generators, and failure detectors in robotic manipulation. These roles implicitly require models to judge not only final task success, but also how a manipulation execution is physically and temporally progressing. However, existing evaluations fail to test whether VLMs possess fine-grained process understanding. To address this gap, we present RoboProcessBench, a benchmark for process-aware understanding in vision-language robotic manipulation. RoboProcessBench decomposes such capability into two complementary dimensions, \emph{static monitoring} and \emph{dynamic reasoning}, instantiated as 12 diagnostic question families covering phase, contact, motion, coordination, primitive-local progress, temporal order, outcome, and primitive-level transitions. Built from physically grounded execution traces, the curated benchmark corpus ProcessData contains \textasciitilde 58k question-answer pairs across 260 manipulation tasks, which is further split into ProcessData-SFT and ProcessData-Eval for post-training and evaluation purposes. Extensive evaluation of various VLMs on ProcessData-Eval reveals broad limitations across 12 diagnostic task families, suggesting current models still lack robust process-aware understanding of manipulation executions. But with ProcessData-SFT, the post-trained \textit{Qwen2.5-VL-7B} and \textit{InternVL-3-8B} exhibit consistent gains on local state, motion, progress, and primitive-aware cues. These results demonstrate that RoboProcessBench serves as both an evaluation benchmark and a learnable supervision source for developing VLMs capable of monitoring and evaluating robotic manipulation processes. Project webpage: \href{https://processbench-2026.github.io/RoboProcessBench-Web/}{https://processbench-2026.github.io}.