SafeSceneReason: A Multimodal Reasoning Benchmark Connecting Industrial Hazards with Accident Knowledge
作者: Yuanchi Zhu, Kang An, Tengyue Wang, Zhongyu Yang, Chenxu Du, Xinqi Yang, Hebao Zhu, Bokai Zhao, Tianyu Liang, Ziliang Wang, Faqiang Qian, Yunli Yang, Weiyang Shi, Qibing Ren
分类: cs.AI
发布日期: 2026-08-10
💡 一句话要点
提出SafeSceneReason以解决工业安全推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 工业安全 多模态推理 事故调查 场景图 证据综合
📋 核心要点
- 现有方法主要关注视觉感知或孤立的违规识别，缺乏对工业安全的全面推理能力。
- 论文提出SafeSceneReason，通过场景中心和报告中心两条数据构建管道，连接工作场景与事故调查知识。
- 实验结果表明，现有视觉-语言模型在多证据推理方面存在显著弱点，提升了对工业安全推理的理解能力。
📝 摘要（中文）
工业安全理解不仅需要检测工人、设备和个人防护装备，还需评估合规性、识别危险互动、解释潜在事故机制并推荐预防措施。现有安全数据集主要集中于视觉感知或孤立的违规识别，提供的证据基础推理监督有限。我们提出SafeSceneReason，这是一个多模态工业安全推理基准及伴随训练语料库，将工作场景与职业事故调查知识相连接。该基准包含110,581对经过验证的场景中心问答对和13,114对精炼的报告中心问答对，涵盖感知、空间和定量推理、合规评估、证据综合、因果分析和以减轻风险为导向的决策。对代表性视觉-语言模型的评估显示出显著的性能差异，表明强大的视觉理解尚未保证可靠的工业安全推理。
🔬 方法详解
问题定义：本论文旨在解决工业安全推理中的多模态理解问题，现有方法在合规性评估和事故机制解释方面存在不足，缺乏有效的证据基础推理。
核心思路：论文的核心思路是构建SafeSceneReason基准，通过将工作场景与事故调查知识相结合，提供全面的推理能力，支持多种推理任务。
技术框架：整体架构包括两个主要模块：场景中心管道和报告中心管道。场景中心管道将标注的工作场景图像转换为可执行的安全场景图，并通过程序执行生成确定性答案；报告中心管道从事故报告中提取证据，构建多模态问题。
关键创新：最重要的技术创新点在于结合了场景图和证据图的多模态推理，能够进行复杂的因果分析和决策支持，这与现有方法的单一视觉感知或简单违规识别有本质区别。
关键设计：在参数设置上，采用了多步推理路径和迭代验证机制，确保生成的问题和答案的准确性；损失函数设计上，强调了对证据的综合利用，以提高推理的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，代表性视觉-语言模型在多证据推理方面的性能存在显著差异，特别是在技术和比较推理任务中，表现出持续的弱点。这表明，尽管模型在视觉理解上表现良好，但在工业安全推理的可靠性上仍需进一步提升。
🎯 应用场景
该研究的潜在应用领域包括工业安全监测、事故预防和安全培训等。通过提供更全面的推理能力，SafeSceneReason可以帮助企业更好地识别和管理工作场所的安全风险，从而降低事故发生率，提升员工安全意识和保护水平。
📄 摘要（原文）
Industrial-safety understanding requires more than detecting workers, equipment, and personal protective equipment. Models must also assess compliance, identify hazardous interactions, explain potential accident mechanisms, and recommend preventive actions. Existing safety datasets primarily focus on visual perception or isolated violation recognition and provide limited supervision for evidence-grounded reasoning. We introduce SafeSceneReason, a multimodal industrial-safety reasoning benchmark and companion training corpus that connects workplace scenes with knowledge from occupational accident investigations. SafeSceneReason combines two complementary data-construction pipelines. The scene-centric pipeline converts annotated workplace images into executable safety scene graphs and generates deterministic answers through program execution over objects, relations, and safety rules. The report-centric pipeline extracts figures and contextual evidence from accident reports and constructs multimodal questions using evidence graphs, explicit information boundaries, multi-step reasoning paths, and iterative verification. The resulting resource contains 110,581 verified scene-centric question--answer pairs and 13,114 refined report-centric question--answer pairs, covering perception, spatial and quantitative reasoning, compliance assessment, evidence synthesis, causal analysis, and mitigation-oriented decision making. Evaluation of representative proprietary and open-source vision--language models reveals substantial performance differences and persistent weaknesses in comparative, technical, and multi-evidence reasoning, demonstrating that strong general visual understanding does not yet guarantee reliable industrial-safety reasoning.