OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

📄 arXiv: 2608.25398v1 📥 PDF

作者: Hao Chen, Yumin Lin, Nadila Yushanjiang, Xin Lin, Min Zhang

分类: cs.CL

发布日期: 2026-08-26

备注: Accepted to Findings of EMNLP 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出OmniPhys以解决物理领域多模态基准缺乏问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基准 物理理解 视觉生成 教育技术 推理分析

📋 核心要点

  1. 现有的多模态大型语言模型在物理领域缺乏系统的评估基准，限制了其发展。
  2. OmniPhys通过提供一个涵盖广泛物理问题和图像的基准，填补了这一空白，支持细致的推理分析。
  3. 实验结果显示，当前MLLMs在复杂推理和视觉生成方面存在显著不足，OmniPhys为改进提供了基础。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在解决各种视觉和文本推理任务中表现出色，但在物理领域的发展受到缺乏综合基准的显著制约。为填补这一空白，本文提出了OmniPhys，这是一个涵盖中学到大学水平问题的大规模多模态物理理解与推理基准，包含15,246个问题和19,850幅图像，配有详细注释以支持推理过程和知识使用的细致分析。OmniPhys不仅进行传统评估，还系统性地评估物理领域的多模态输出，包括模型生成结构化物理图的能力，这在真实物理问题解决中至关重要。广泛评估揭示了当前MLLMs在复杂推理和视觉生成能力上的关键差距。为此，我们发布OmniPhys，作为推动物理和科学领域多模态智能发展的基础资源。

🔬 方法详解

问题定义：本文旨在解决物理领域缺乏综合性多模态基准的问题。现有方法在评估物理推理和视觉生成能力方面存在明显不足，限制了多模态大型语言模型的应用。

核心思路：OmniPhys通过整合中学到大学层次的物理问题及其对应的图像，提供了一个全面的评估框架，旨在系统性地评估模型在物理理解与推理中的表现。

技术框架：OmniPhys的整体架构包括问题生成模块、图像生成模块和评估模块。问题生成模块负责创建多样化的物理问题，图像生成模块则生成与问题相关的结构化物理图，评估模块用于分析模型的推理过程和输出质量。

关键创新：OmniPhys的主要创新在于其系统性评估多模态输出的能力，尤其是生成结构化物理图的能力，这在现有基准中尚未得到充分重视。

关键设计：在设计中，OmniPhys采用了详细的注释和标注，以支持对推理过程的细致分析，并设置了多种评估指标，以全面评估模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前的多模态大型语言模型在复杂推理和视觉生成方面存在显著差距，OmniPhys的引入为这些模型提供了一个新的评估标准。具体而言，模型在生成结构化物理图的能力上表现不佳，揭示了未来改进的方向。

🎯 应用场景

OmniPhys的研究成果可广泛应用于教育技术、智能辅导系统以及科学研究等领域。通过提供一个标准化的评估基准，研究人员和开发者可以更有效地评估和改进多模态大型语言模型在物理领域的应用，推动教育和科学研究的智能化进程。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have demonstrated strong abilities in solving diverse visual and textual reasoning tasks. However, their development in the physics domain is significantly hindered by the lack of a comprehensive benchmark. To fill this gap, we introduce OmniPhys, a large-scale benchmark for multimodal physics understanding and reasoning, covering middle school through university-level problems from Chinese Educational Corpora. OmniPhys consists of 15,246 questions and 19,850 images, accompanied by detailed annotations that support fine-grained analysis of reasoning processes and knowledge usage. Beyond conventional evaluation, OmniPhys is a benchmark that systematically evaluates multimodal outputs in the physics domain, including models' ability to generate structured physics diagrams, which constitute a fundamental component of authentic physics problem solving. Extensive evaluations reveal critical gaps in the capabilities of current MLLMs, especially in complex reasoning and visual generation. To address this, we release OmniPhys to serve as a foundational resource for advancing multimodal intelligence in physics and scientific domains. Codes and data are available at https://github.com/ECNU-RAIL/OmniPhys-EMNLP2026.