R2S-Eval: Robot Evaluation with Real-to-Sim Calibration via Vision-Language Models

📄 arXiv: 2609.03276v1 📥 PDF

作者: Yidi Wang, Feixiang Ruan, Ruoqu Chen, Jie Yin, Yang Yu, Mengdi Xu, Kaifeng Zhang

分类: cs.RO

发布日期: 2026-09-03

💡 一句话要点

提出R2S-Eval以解决机器人评估中的效率与稳定性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人评估 视觉-语言模型 真实到模拟校准 操作策略 自动化评估

📋 核心要点

  1. 现有的机器人评估方法劳动密集且不稳定，主要依赖成功率指标，缺乏对执行质量的全面评估。
  2. R2S-Eval通过结合真实到模拟的校准与视觉-语言模型的偏好评估，提供了一种高效的评估管道，减少了对硬件试验的依赖。
  3. 实验结果显示，R2S-Eval在模拟和现实环境中均能产生稳定的策略结论，并与人类偏好高度一致，提升了评估的质量和效率。

📝 摘要（中文）

随着通用模型，尤其是视觉-语言-动作（VLA）模型在物理机器人上的应用，评估机器人操作策略变得越来越重要。然而，传统的现实世界评估方法劳动密集、稳定性差且信息不足。它需要重复的硬件试验、手动场景重置和持续的操作员监控，可能导致不同的策略排名，并且主要依赖成功率指标，提供的执行质量信息有限。为此，本文提出了R2S-Eval，一个结合真实到模拟校准与视觉-语言模型偏好评估的评估管道。实验表明，R2S-Eval能够产生可靠且稳定的策略结论，显著减少重复硬件操作的工作量，并揭示二元成功标签未能捕捉的行为质量差异。

🔬 方法详解

问题定义：本文旨在解决传统机器人评估方法的不足，包括劳动密集、稳定性差和信息不足等痛点。这些方法主要依赖成功率指标，无法全面反映机器人操作的执行质量。

核心思路：R2S-Eval的核心思想是结合真实到模拟的校准与视觉-语言模型的偏好评估，利用模拟环境生成高质量的评估视频，从而减少对实际硬件试验的需求。

技术框架：R2S-Eval的整体架构包括两个主要模块：首先是真实到模拟的校准模块，生成与现实环境相匹配的模拟视频；其次是视觉-语言模型评估模块，分析这些视频并生成策略的偏好排序。

关键创新：R2S-Eval的主要创新在于将真实与模拟环境的校准结合视觉-语言模型的评估，突破了传统评估方法的局限，实现了自动化和质量意识的评估。

关键设计：在设计中，R2S-Eval采用了特定的损失函数来优化视频生成的质量，并利用深度学习网络结构来增强视觉-语言模型的评估能力，确保评估结果的可靠性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，R2S-Eval在模拟和现实环境中均能产生稳定的策略结论，并与人类偏好高度一致。相较于传统方法，R2S-Eval显著减少了重复硬件操作的工作量，并揭示了二元成功标签未能捕捉的行为质量差异，提升了评估的全面性和准确性。

🎯 应用场景

R2S-Eval的研究成果在机器人操作策略的评估中具有广泛的应用潜力，尤其是在需要高效、稳定评估的场景，如工业自动化、服务机器人和智能制造等领域。未来，该方法有望推动机器人评估的标准化和自动化进程，提高机器人在复杂环境中的适应能力。

📄 摘要（原文）

Evaluating robot manipulation policies is becoming increasingly important as generalist models, particularly vision-language-action (VLA) models, are deployed on physical robots. However, conventional real-world evaluation remains labor-intensive, unstable, and insufficiently informative. It requires repeated hardware trials, manual scene resets, and continuous operator monitoring, may produce different policy rankings across repeated evaluations, and primarily relies on success-rate metrics that provide limited information about execution quality. In contrast, humans assess robot performance by observing and comparing complete behaviors rather than relying solely on binary success outcomes. To this end, we propose R2S-Eval, an evaluation pipeline that combines real-to-sim calibration with vision-language model (VLM) preference evaluation. The real-to-sim component efficiently generates rollout videos in a simulator calibrated to the real-world evaluation setting, thereby reducing the need for repeated hardware trials. The VLM evaluator assesses the execution quality of rollout videos and produces pairwise preferences, which are subsequently aggregated into policy rankings. We further introduce a protocol to assess whether the proposed evaluation pipeline yields validated policy conclusions while mitigating the key challenges of conventional real-world evaluation. Experiments in both simulation and real-world settings demonstrate that R2S-Eval produces reliable and stable policy conclusions, achieves agreement with human preferences, substantially reduces repeated hardware-operation effort, and reveals behavior-quality differences that are not captured by binary success labels. In general, R2S-Eval advances robot evaluation from manual success counting toward automated, statistically stable, and quality-aware evaluation of robot behavior. Project page: https://r2s-eval.github.io.