Towards reliable multimodal disaster severity assessment through preference optimization and explainable vision-language reasoning

📄 arXiv: 2609.00879v1 📥 PDF

作者: Yuanjun Zhang, Fuzel Ahamed Shaik, Suvojit Acharjee, Fahad Khalid, Mourad Oussalah

分类: cs.AI

发布日期: 2026-09-01

备注: Published in Reliability Engineering & System Safety

期刊: Reliability Engineering & System Safety 275 (2026) 112674

DOI: 10.1016/j.ress.2026.112674

💡 一句话要点

提出双阶段训练框架以提高灾害严重性评估的可靠性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灾害评估 多模态学习 监督微调 直接偏好优化 可解释性 人机交互 模型对齐

📋 核心要点

  1. 现有多模态灾害评估方法在标注数据稀缺和推理质量评估不足方面存在明显不足。
  2. 本研究提出双阶段训练框架，结合监督微调和直接偏好优化，提升模型的准确性和可解释性。
  3. 实验结果显示，SFT显著提高了模型的准确率和解释质量，DPO进一步增强了解释的可理解性。

📝 摘要（中文）

可靠的灾害损害评估需要提供准确预测和透明解释的模型。然而，现有的多模态方法受到标注数据稀缺和推理质量评估不足的限制。本研究提出了一种双阶段训练框架，将监督微调（SFT）和直接偏好优化（DPO）整合在统一的数据构建流程中。通过单一的人机交互（HITL）标注工作流，衍生出两个互补数据集：ReasoningSet和PreferenceSet。该框架使用自动指标、模型评分和人工排名评估分类性能和解释质量。实验结果表明，SFT将准确率从73.64%提升至78.29%，Macro-F1提升29%，解释质量提高约25%。后续的DPO对齐进一步增强了PreferenceSet上的可解释性。跨模型验证显示该方法的鲁棒性和泛化能力。

🔬 方法详解

问题定义：本论文旨在解决灾害严重性评估中模型预测准确性和解释透明性不足的问题。现有方法面临标注数据稀缺和推理质量评估不充分的挑战。

核心思路：提出双阶段训练框架，通过监督微调（SFT）和直接偏好优化（DPO）相结合，旨在提升模型的分类性能和解释质量，确保模型输出的可解释性与人类判断一致。

技术框架：整体架构包括两个主要阶段：第一阶段为SFT，利用ReasoningSet进行模型训练；第二阶段为DPO，基于PreferenceSet进行模型对齐。通过人机交互标注生成两个互补数据集，确保数据的多样性和有效性。

关键创新：本研究的核心创新在于将SFT与DPO结合，形成统一的数据构建流程，显著提升了模型在灾害评估中的准确性和可解释性，克服了传统方法的局限性。

关键设计：在模型训练中，采用特定的损失函数以优化分类性能，并通过自动化指标和人工评估相结合的方式，确保模型输出的解释质量符合人类的认知标准。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，SFT将模型准确率从73.64%提升至78.29%，Macro-F1提升29%，同时解释质量提高约25%。DPO进一步增强了PreferenceSet上的可解释性，验证了方法的鲁棒性和泛化能力。

🎯 应用场景

该研究的潜在应用领域包括自然灾害管理、应急响应和城市规划等。通过提供可靠的灾害评估工具，能够帮助决策者快速识别和响应灾害影响，提升应急管理的效率和效果。未来，该框架可扩展至其他领域的多模态数据分析，具有广泛的实际价值。

📄 摘要（原文）

Reliable disaster damage assessment requires models that provide both accurate predictions and transparent explanations. However, existing multimodal approaches are limited by scarce annotated data and insufficient evaluation of reasoning quality. This study proposes a two-stage training framework that integrates Supervised Fine-Tuning (SFT) and Direct Preference Optimization (DPO) within a unified data construction pipeline. From a single Human-in-the-Loop (HITL) annotation workflow, two complementary datasets are derived, namely ReasoningSet, which contains validated rationales for SFT, and PreferenceSet, which comprises paired rationales for DPO-based alignment. The framework evaluates both classification performance and explanation quality using automatic metrics, model-based scoring, and human ranking. Experimental results show that SFT improves accuracy from 73.64% to 78.29% and increases Macro-F1 by 29% compared to the baseline, while explanation quality improves by approximately 25%. Subsequent DPO alignment further enhances interpretability on the PreferenceSet. Cross-model validation on InternVL-3-8B and LLaVA-1.5-7B demonstrates the robustness and generalizability of the approach. The proposed framework improves detection of underrepresented mild damage cases, reduces high-risk misclassifications, and strengthens alignment between model reasoning and human judgment. Overall, it provides a reproducible pathway to develop reliable multimodal systems that deliver auditable, actionable disaster insights for emergency management.