SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment

📄 arXiv: 2511.01390 📥 PDF

作者: Xinyu Mao, Junsi Li, Haoji Zhang, Yu Liang, Ming Sun

分类: cs.CV, cs.AI, cs.MM

发布日期: 2026-07-05

💡 一句话要点

提出SEPS框架以解决细粒度跨模态对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨模态对齐 视觉问答 多模态应用 补丁冗余 语义增强

📋 核心要点

  1. 现有方法在处理视觉与语言之间的补丁冗余和模糊性时存在显著不足，导致跨模态对齐效果不佳。
  2. 本文提出的SEPS框架通过两阶段机制整合稠密和稀疏文本的语义，系统性地解决了补丁冗余和模糊性问题。
  3. 在Flickr30K和MS-COCO数据集上的实验结果显示，SEPS在多种模型架构下的rSum提升幅度达到23%-86%，特别是在文本到图像检索场景中表现突出。

📝 摘要（中文）

细粒度跨模态对齐旨在建立视觉与语言之间的精确局部对应关系，这是视觉问答及相关多模态应用的基础。现有方法在处理补丁冗余和模糊性方面面临挑战，尤其是在信息密度差异的影响下。为此，本文提出了语义增强补丁精简（SEPS）框架，通过两阶段机制整合稠密与稀疏文本的统一语义，识别显著视觉补丁，并利用均值计算进行相关性选择，从而提升跨模态相似性评估。实验结果表明，SEPS在Flickr30K和MS-COCO数据集上表现优异，rSum提升幅度达23%-86%。

🔬 方法详解

问题定义：本文旨在解决细粒度跨模态对齐中的补丁冗余和模糊性问题。现有方法在处理信息密度差异时，往往无法有效建立视觉补丁与文本描述之间的精确对应关系。

核心思路：SEPS框架的核心思路是通过两阶段机制整合来自稠密和稀疏文本的统一语义，以识别和选择显著的视觉补丁，从而提升跨模态相似性评估的准确性。

技术框架：SEPS框架包括两个主要阶段：第一阶段是语义整合，通过分析稠密和稀疏文本，提取统一的语义信息；第二阶段是相关性选择，利用均值计算突出关键的补丁-词对应关系。

关键创新：SEPS的主要创新在于其系统性地解决了补丁冗余和模糊性问题，通过引入语义增强机制，显著提升了跨模态对齐的精度，与现有方法相比具有本质区别。

关键设计：在设计中，SEPS采用了均值计算作为相关性选择的核心技术，确保了补丁与文本之间的语义匹配。此外，网络结构经过优化，以适应不同模型架构的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Flickr30K和MS-COCO数据集上的实验结果表明，SEPS框架在rSum指标上相较于现有方法提升了23%-86%。特别是在文本到图像检索场景中，SEPS展现出显著的性能优势，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括视觉问答、图像检索和多模态内容生成等。通过提升视觉与语言之间的对齐精度，SEPS框架能够为智能助手、搜索引擎及社交媒体平台等提供更为精准的多模态交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Fine-grained cross-modal alignment aims to establish precise local correspondences between vision and language, forming a cornerstone for visual question answering and related multimodal applications. Current approaches face challenges in addressing patch redundancy and ambiguity, which arise from the inherent information density disparities across modalities. Recently, Multimodal Large Language Models (MLLMs) have emerged as promising solutions to bridge this gap through their robust semantic generation capabilities. However, the dense textual outputs from MLLMs may introduce conflicts with the original sparse captions. Furthermore, accurately quantifying semantic relevance between rich visual patches and concise textual descriptions remains a core challenge. To overcome these limitations, we introduce the Semantic-Enhanced Patch Slimming (SEPS) framework, which systematically addresses patch redundancy and ambiguity. Our approach employs a two-stage mechanism to integrate unified semantics from both dense and sparse texts, enabling the identification of salient visual patches. Additionally, it leverages relevance-aware selection with mean value computation to highlight crucial patch-word correspondences, thereby improving cross-modal similarity assessment. Comprehensive experiments on Flickr30K and MS-COCO datasets validate that SEPS achieves superior performance, surpassing existing approaches by 23\%-86\% in rSum across diverse model architectures, with notable enhancements in text-to-image retrieval scenarios. Our implementation is available atthis https URL.