Theia: Large-Scale Multimodal Captioning and Automated Validation of the Incidents1M Dataset for Data-Free Distillation

📄 arXiv: 2607.28269v1 📥 PDF

作者: Simone Giano, Lorenzo Severini, Alessandro Galdelli, Adriano Mancini

分类: cs.CV, cs.AI, cs.MM

发布日期: 2026-07-30

💡 一句话要点

提出一种新方法以构建和验证灾害响应多模态数据集

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 知识蒸馏 图像盲评估 灾害管理 视觉-语言模型

📋 核心要点

  1. 现有的多模态数据集在文本描述和图像内容之间存在严重的不对齐，影响了知识蒸馏的效果。
  2. 本文提出了一种从视觉数据集中自动生成高质量文本描述的方法，并引入图像盲评估机制以验证描述的语义一致性。
  3. 实验结果表明，生成的描述在语义一致性上达到了78.65/100，且具有较高的精确率（77.6%）和较低的召回率（46.0%）。

📝 摘要（中文）

在灾害管理等关键领域，视觉-语言模型（VLMs）的应用需要高质量的多模态数据集，以支持数据无关知识蒸馏（DFKD）。现有数据集如Incidents1M缺乏描述性文本，而CrisisMMD则存在严重的文本-图像语义不对齐。本文提出了一种新方法，从视觉数据集Incidents1M中恢复10万张图像，并利用两种Qwen3.5架构生成高保真文本描述。为确保生成的标题在DFKD中提供可靠的语义锚定，本文引入了一种图像盲评估管道，通过Qwen3.5-9B进行验证。实验结果显示，两个架构之间的语义一致性高达78.65/100，且自动评估揭示了人类注释的一致性问题。

🔬 方法详解

问题定义：本文旨在解决现有多模态数据集中缺乏高质量文本描述和文本-图像语义不对齐的问题，特别是在灾害管理领域的应用场景中。现有数据集如Incidents1M完全缺乏描述性文本，而CrisisMMD则存在严重的语义不一致，影响了知识蒸馏的效果。

核心思路：本文提出了一种新方法，通过使用Qwen3.5架构生成高保真文本描述，并引入图像盲评估机制，以确保生成的描述在语义上与图像内容一致，从而提高数据无关知识蒸馏的效果。

技术框架：整体流程包括从Incidents1M数据集中恢复图像，利用Qwen3.5的两种架构（4B密集模型和35B专家混合模型）生成文本描述，最后通过Qwen3.5-9B进行图像盲评估，以验证描述的语义一致性。

关键创新：本文的主要创新在于引入了图像盲评估机制，使得评估过程能够模拟学生模型在数据无关蒸馏中的模态差距，从而提高了生成描述的可靠性和一致性。

关键设计：在生成文本描述时，采用了两种不同规模的Qwen3.5模型，并在评估阶段设计了图像盲评估管道，以确保生成的描述能够在没有原始图像的情况下进行有效的语义验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，生成的文本描述在语义一致性方面达到了78.65/100，且自动评估的精确率为77.6%，召回率为46.0%。这种保守的描述生成策略有效减少了假阳性噪声，同时揭示了原始标注中的不一致性问题。

🎯 应用场景

该研究的潜在应用领域包括灾害响应、紧急救援和公共安全等场景。通过提供高质量的多模态数据集，能够有效支持视觉-语言模型在这些领域的知识蒸馏和应用，提升应急管理的智能化水平，未来可能对相关技术的发展产生深远影响。

📄 摘要（原文）

The deployment of Vision-Language Models (VLMs) in critical domains like disaster management requires high-quality multimodal datasets, especially for transferring knowledge via Data-Free Knowledge Distillation (DFKD). However, existing datasets in this domain either entirely lack descriptive text, such as Incidents1M, or suffer from severe text-image semantic misalignment, such as CrisisMMD. In this work, we present a novel methodology to construct and automatically validate a large-scale multimodal dataset for disaster response. Starting from the vision-only Incidents1M, we successfully recovered 100,000 images and generated high-fidelity textual descriptions using two distinct Qwen3.5 architectures: a 4B dense model and a 35B Mixture-of-Experts (MoE) model. To ensure the generated captions provide reliable semantic anchoring for DFKD, we introduce an image-blind LLM-as-a-Judge validation pipeline leveraging Qwen3.5-9B. By intentionally obscuring the original image from the judge, this evaluator accurately simulates the modality gap of the student model during data-free distillation. Our evaluation across 173,179 label pairs demonstrates a high semantic agreement (78.65/100) between the two architectures. Furthermore, the automated evaluation reveals a conservative captioning behaviour, characterized by a high Precision (77.6%) and low Recall (46.0%). This minimizes the false positive noise, while simultaneously exposing underlying human annotation inconsistencies in the original ground truth. This work provides a scalable, LLM-validated multimodal dataset and a reproducible framework to advance cross-modal knowledge distillation.