VL-Dedup: Graded Multimodal Entity Resolution for Image-Text Data Deduplication
作者: Zhenxi Liu, Guanze Chen, Dehui Yu, Xingyu Wang, Bingxu Hou, Chengwei Li, Tao Ma, Ke Wang, Gongsheng Yuan
分类: cs.CV
发布日期: 2026-11-02
备注: 14 pages, 6 figures
💡 一句话要点
提出VL-Dedup以解决图像-文本数据去重问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像-文本去重 多模态实体解析 视觉-语言模型 信息保留 数据管理 内容优化
📋 核心要点
- 现有的去重和多模态实体解析方法无法有效处理图像-文本数据中的多种重复情况，导致信息丢失。
- 本文提出VL-Dedup，将图像-文本去重视为分级多模态实体解析，针对每对记录进行更细致的处理。
- 在VL-DedupBench数据集上，实验结果表明该方法在信息保留方面优于传统方法，减少了重要信息的丢失。
📝 摘要（中文）
图像-文本语料库中存在多种重复情况，包括同一图像的不同描述、不同图像的重复描述以及不匹配的描述。现有的去重和多模态实体解析方法仅判断记录是否相同，无法有效处理这些复杂情况。为此，本文提出了VL-Dedup，将图像-文本去重视为分级多模态实体解析，针对每对记录决定视觉身份、描述处理和不匹配情况，并在对记录进行分组和限制组大小的基础上，评估去重效果。通过构建VL-DedupBench数据集，验证了该方法在信息保留方面的优势。
🔬 方法详解
问题定义：本文旨在解决图像-文本数据中的去重问题，现有方法仅能判断记录是否相同，无法处理多样化的重复情况，导致信息丢失。
核心思路：VL-Dedup通过分级多模态实体解析，针对每对记录决定视觉身份、描述处理和不匹配情况，从而实现更精细的去重。
技术框架：该方法首先将相同视觉实体的记录分组为簇，并限制每个簇的大小。然后，利用视觉-语言模型（VLM）和CLIPScore在每个簇内决定保留哪些描述。
关键创新：VL-Dedup的创新在于其分级处理机制，能够在保留信息的同时有效去重，与传统方法相比，减少了重要信息的丢失。
关键设计：在设计中，采用了VLM对簇内记录进行处理，避免了对不确定评分的记录进行无效调用，从而提升了描述选择的准确性。
🖼️ 关键图片
📊 实验亮点
在VL-DedupBench数据集上，VL-Dedup方法在信息保留方面表现优异，能够有效减少重要信息的丢失。实验结果显示，该方法在处理成千上万的记录对时，仍能保持高准确率，显著优于传统去重方法。
🎯 应用场景
该研究可广泛应用于图像-文本数据管理、社交媒体内容去重、电子商务产品描述优化等领域。通过提高去重效率和信息保留能力，VL-Dedup有助于提升数据质量和用户体验，未来可能在多模态数据处理方面产生深远影响。
📄 摘要（原文）
Image-text corpora contain copies of one image, captions that describe one image in different ways, captions reused for different images, and captions that do not match their images. Each case calls for a different curation action. Deduplication and multimodal entity resolution (ER) only decide whether records are the same, and they are evaluated on labeled pairs. Yet pair scores do not tell which records end up in the same cluster or which useful captions get deleted. We therefore formulate image-text deduplication as graded multimodal ER, which decides visual identity, caption handling, and mismatches for each pair, and we evaluate it at three levels: pairs, clusters, and the retained set. Our method, VL-Dedup, groups records of the same visual entity into clusters and caps the size of each cluster. Within each cluster, a vision-language model (VLM) and CLIPScore decide which captions to keep and which to flag. We also build VL-DedupBench, with 50,000 COCO and SOP records and 66,788 labeled pairs. On it, a classifier that selects no false edge among the labeled pairs still joins millions of record pairs from different entities. Spending VLM calls on the pairs inside clusters, rather than on pairs with uncertain scores, gives better caption decisions from the same model. Even when almost all clusters are correct, keeping one record per cluster loses facts in many deletions, while the deletions of VL-Dedup lose much less information.