Adversarial Testing for Visual Grounding via Image-Aware Property Reduction

📄 arXiv: 2403.01118v1 📥 PDF

作者: Zhiyuan Chang, Mingyang Li, Junjie Wang, Cheng Li, Boyu Wu, Fanjiang Xu, Qing Wang

分类: cs.CV, cs.AI

发布日期: 2024-03-02

备注: 14pages, 6 figures

💡 一句话要点

提出PEELING以解决视觉定位模型的对抗测试问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗测试 视觉定位 多模态学习 文本扰动 图像理解 属性减少 模型鲁棒性

📋 核心要点

  1. 现有对抗测试方法未能充分利用图像和文本信息之间的相关性，导致测试效果不佳。
  2. PEELING通过图像感知的属性减少方法，生成能够准确描述对象的文本扰动表达式。
  3. 在OFA-VG模型上，PEELING的对抗测试结果在多模态影响分数上提升了21.4%，显著优于现有基线。

📝 摘要（中文）

多模态学习因其融合多种信息的优势而受到越来越多的关注。视觉定位（VG）作为多模态学习的基本任务，旨在通过自然语言表达定位图像中的对象。确保VG模型的质量面临重大挑战，现有的对抗测试技术往往未能充分利用图像和文本信息之间的相关性。为此，本文提出了一种名为PEELING的文本扰动方法，通过图像感知的属性减少来进行VG模型的对抗测试。PEELING首先提取对象及其属性并进行重组，生成候选的属性减少表达式，随后通过视觉理解技术确保所选表达式准确描述原始对象且不与图像中的其他对象重合。实验结果表明，PEELING在OFA-VG模型上实现了21.4%的多模态影响分数（MMI），并超越了现有基线8.2%至15.1%。

🔬 方法详解

问题定义：本文旨在解决视觉定位模型在对抗测试中的不足，现有方法往往只基于图像或文本信息进行扰动，忽视了两者之间的关键关联性，导致测试效果不理想。

核心思路：PEELING的核心思想是通过减少原始表达式中的属性相关信息，同时确保减少后的表达式仍能唯一描述图像中的对象，从而有效挑战VG模型。

技术框架：PEELING的整体流程包括对象和属性的提取与重组，生成候选的属性减少表达式，并通过视觉理解技术筛选出符合条件的表达式。

关键创新：PEELING的主要创新在于结合图像信息进行文本扰动，确保生成的表达式不仅准确描述对象，还避免与其他对象重合，这一设计显著提升了对抗测试的有效性。

关键设计：在实现过程中，PEELING采用了特定的视觉理解技术来查询图像，确保所选表达式的唯一性，同时在参数设置和损失函数上进行了优化，以提升模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PEELING在OFA-VG模型上实现了21.4%的多模态影响分数（MMI），相较于现有基线提升了8.2%至15.1%。这一结果表明，PEELING在对抗测试中的有效性和创新性，显著提高了视觉定位模型的测试能力。

🎯 应用场景

该研究在多模态学习和计算机视觉领域具有广泛的应用潜力，尤其是在智能助手、自动驾驶和图像检索等场景中。通过提高视觉定位模型的对抗测试能力，PEELING能够增强模型的鲁棒性和可靠性，推动相关技术的实际应用和发展。

📄 摘要（原文）

Due to the advantages of fusing information from various modalities, multimodal learning is gaining increasing attention. Being a fundamental task of multimodal learning, Visual Grounding (VG), aims to locate objects in images through natural language expressions. Ensuring the quality of VG models presents significant challenges due to the complex nature of the task. In the black box scenario, existing adversarial testing techniques often fail to fully exploit the potential of both modalities of information. They typically apply perturbations based solely on either the image or text information, disregarding the crucial correlation between the two modalities, which would lead to failures in test oracles or an inability to effectively challenge VG models. To this end, we propose PEELING, a text perturbation approach via image-aware property reduction for adversarial testing of the VG model. The core idea is to reduce the property-related information in the original expression meanwhile ensuring the reduced expression can still uniquely describe the original object in the image. To achieve this, PEELING first conducts the object and properties extraction and recombination to generate candidate property reduction expressions. It then selects the satisfied expressions that accurately describe the original object while ensuring no other objects in the image fulfill the expression, through querying the image with a visual understanding technique. We evaluate PEELING on the state-of-the-art VG model, i.e. OFA-VG, involving three commonly used datasets. Results show that the adversarial tests generated by PEELING achieves 21.4% in MultiModal Impact score (MMI), and outperforms state-of-the-art baselines for images and texts by 8.2%--15.1%.