PhyCheck: Fine-Grained Evidence-Grounded Dataset for Physical Law Understanding in Video-LLMs
作者: Zhongjie Ba, Shengwang Xu, Peng Cheng, Jinyang Zou, Ting Yu, Zhibo Wang, Zhan Qin
分类: cs.CV, cs.AI
发布日期: 2026-08-03
备注: 15pages, 4 figures, 4 tables
💡 一句话要点
提出PhyCheck以解决视频语言模型对物理规律理解不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频理解 物理规律 视频语言模型 问答数据集 因果推理 模型微调 细粒度评估
📋 核心要点
- 现有视频语言模型在判断事件是否符合物理法则方面存在显著不足，难以理解深层次的物理机制。
- 本文提出PhyCheck数据集，通过粗粒度和细粒度的问答形式，系统性地评估视频语言模型的物理理解能力。
- 实验结果显示，使用PhyCheck进行微调的模型在物理一致性理解上有显著提升，但在处理额外因果条件时仍面临挑战。
📝 摘要（中文）
具身智能和世界模型要求视频理解系统超越物体和动作的识别，发展对物理规律的理解。然而，尽管现有视频语言模型在一般视频理解任务上表现良好，但在判断观察事件是否符合特定物理法则方面仍存在困难。为填补这一空白，本文提出了PhyCheck，一个视频问答数据集，分为粗粒度和细粒度两个子集，旨在系统评估和提升视频大型语言模型对物理规律的理解。实验表明，使用该数据集进行微调显著提高了物理一致性的理解，但在诊断子集中的评估显示，当前模型在整合额外因果条件方面仍存在困难。
🔬 方法详解
问题定义：本文旨在解决现有视频语言模型在理解物理规律方面的不足，特别是在判断事件是否符合物理法则时的困难。现有基准主要评估生成视频的物理质量，缺乏系统性评估工具。
核心思路：提出PhyCheck数据集，通过粗粒度和细粒度的问答形式，帮助模型不仅判断现象是否符合物理法则，还能识别导致符合或违反的物理细节。
技术框架：PhyCheck数据集分为三个部分：粗粒度子集用于判断现象的合规性，细粒度子集用于捕捉物理细节，诊断子集则提供外部因果上下文以评估模型的判断能力。
关键创新：最重要的创新在于引入了细粒度的物理细节评估，填补了现有模型在物理理解上的空白，使得模型能够更深入地理解物理机制。
关键设计：在数据集构建中，设计了不同的问答形式和评估标准，确保模型在训练过程中能够接收到结构化的监督信号，提升其物理理解能力。实验中使用Fine-tune Qwen2.5-VL模型进行微调，评估其在不同子集上的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用PhyCheck数据集进行微调的Fine-tune Qwen2.5-VL模型在物理一致性理解上有显著提升，具体表现为在粗粒度和细粒度子集上的准确率分别提高了XX%和YY%。然而，在诊断子集中的评估显示，模型在整合额外因果条件时仍存在困难，表明未来研究的方向。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、虚拟现实等，能够帮助系统更好地理解和预测物理现象，从而提升其决策能力和交互体验。未来，PhyCheck可能成为评估视频理解系统物理规律理解能力的标准工具，推动相关领域的研究进展。
📄 摘要（原文）
Embodied intelligence and world models require video understanding systems to go beyond recognizing objects and actions and develop an understanding of physical regularities. However, despite their strong performance on general video understanding tasks, current video-language models still struggle to reliably determine whether an observed event conforms to specific physical laws. Existing benchmarks primarily assess the physical quality of generated videos, providing limited support for systematically evaluating and improving the physical-law understanding of Video Large Language Models (VideoLLMs). To address this gap, we introduce PhyCheck, a video question answering dataset organized at two complementary levels of granularity. The coarse-grained subset asks models to determine whether the phenomenon shown in a video conforms to or violates physical laws, while the fine-grained subset further examines whether models can capture physical details responsible for the violation or compliance. We use these subsets as structured supervision to improve physical understanding. In addition, the dataset contains a diagnostic subset with external causal context that reveal hidden factors affecting physical plausibility, assessing whether models can recalibrate their judgments accordingly. Experiments with Fine-tune Qwen2.5-VL show that training with the proposed data substantially improves the understanding of physical-consistency, while evaluations in the diagnostic subset reveal that current models still have difficulty incorporating additional causal conditions into their decisions. These findings highlight the gap between recognizing surface-level inconsistencies and understanding underlying physical mechanisms, and provide a foundation for evaluating and improving physical understanding in Video-LLMs.