SC3-Eval: Evaluating Robot Foundation Models via Self-Consistent Video Generation
作者: Wei-Cheng Tseng, Gashon Hussein, Yuzhu Dong, Allen Z. Ren, Lucy X. Shi, XuDong Wang, Sergey Levine, Zhaoshuo Li, Jinwei Gu, Florian Shkurti, Ming-Yu Liu, Quan Vuong
分类: cs.RO, cs.CV
发布日期: 2026-06-17
💡 一句话要点
提出SC3-Eval以解决机器人基础模型评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 视频生成 一致性评估 多视角学习 策略评估 自回归模型 动态调整
📋 核心要点
- 现有方法在评估机器人操作策略时面临高成本、低效率和难以扩展的问题。
- SC3-Eval通过自一致性视频生成，结合前向-逆向动力学、一致性跨视角和测试时一致性来解决这些挑战。
- 在七个现实世界的任务中，SC3-Eval实现了0.929的Pearson相关性，显著优于三种基线方法。
📝 摘要（中文）
在现实世界中评估通用机器人操作策略既昂贵又缓慢，且难以扩展。本文提出SC3-Eval，一种自一致性视频生成方法，通过三种互补的一致性形式，将预训练的视频基础模型转化为准确的策略评估器。首先，前向-逆向动力学一致性共同训练模型，从动作预测帧并从帧恢复动作，确保生成的回放符合物理可行的动作流形。其次，跨视角一致性训练模型从其他视角补全每个摄像头的视图，保持多摄像头观察在长回放中的一致性。最后，测试时一致性在推理时重用逆向动力学模式，作为每个动作块的不确定性信号，终止偏离请求动作的回放。实验结果表明，SC3-Eval在七个现实世界的视觉-语言-动作策略中表现优异，相关性达到0.929，超越了三种强基线，并能推广到新任务。
🔬 方法详解
问题定义：本文旨在解决在现实世界中评估机器人操作策略的高成本和低效率问题。现有方法依赖于自回归回放，容易积累误差，且多视角观察的一致性难以保持。
核心思路：SC3-Eval通过引入三种一致性形式，提升了视频生成模型的评估能力，确保生成的回放与真实操作行为相符。
技术框架：SC3-Eval的整体架构包括三个主要模块：前向-逆向动力学一致性模块、跨视角一致性模块和测试时一致性模块。前者确保动作与帧之间的相互约束，后者保持多视角观察的一致性，最后一个模块在推理时动态调整回放。
关键创新：最重要的创新在于通过前向-逆向动力学一致性来对抗自回归模型的漂移问题，以及通过跨视角一致性来实现多视角的无缝整合。
关键设计：在损失函数设计上，结合了动作预测和帧恢复的损失，确保模型在训练过程中能够学习到物理可行的动作流形。网络结构上，采用了多视角输入以增强模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
SC3-Eval在七个现实世界的视觉-语言-动作策略中实现了0.929的闭环Pearson相关性和0.119的MMRV，显著优于三种强基线方法，展示了其在策略评估中的有效性和可靠性。
🎯 应用场景
SC3-Eval的研究成果在机器人操作、自动化生产线和智能家居等领域具有广泛的应用潜力。通过提高评估效率和准确性，能够加速机器人策略的开发与部署，推动智能机器人技术的进步。
📄 摘要（原文）
Evaluating generalist robot manipulation policies in the real world is expensive, slow, and difficult to scale. Action-conditioned video world models offer a scalable alternative by simulating policy rollouts. Autoregressive rollouts accumulate compounding errors, observations across multiple camera views must remain mutually consistent, and the evaluator must generalize to policies whose behaviors lie outside the training distribution. We address these challenges with SC3-Eval, a self-consistent video generation recipe that adapts a pre-trained video foundation model into an accurate policy evaluator by enforcing three complementary forms of consistency. First, forward-inverse dynamics consistency jointly trains the model to predict frames from actions and to recover actions from frames, anchoring generated rollouts to a physically plausible action manifold and counteracting the drift a forward-only model cannot penalize. Second, cross-view consistency trains the model to inpaint each camera view from the other, keeping the multi-camera observation coherent over long rollouts without any explicit memory mechanism. Third, test-time consistency reuses the inverse dynamics mode at inference as a per-action-chunk uncertainty signal that terminates rollouts whose generated frames drift away from the requested actions. We also demonstrate SC3-Eval rollouts reproduce the failure modes that policies exhibit in real-world rollouts, supporting fine-grained diagnostic comparison rather than aggregate ranking alone. Across seven real-world vision-language-action policies, SC3-Eval attains a closed-loop Pearson correlation of $0.929$ and MMRV of $0.119$, outperforming three strong prior video-model-based baselines, and generalizes to new tasks.