VimTS: A Unified Video and Image Text Spotter for Enhancing the Cross-domain Generalization

📄 arXiv: 2404.19652v4 📥 PDF

作者: Yuliang Liu, Mingxin Huang, Hao Yan, Linger Deng, Weijia Wu, Hao Lu, Chunhua Shen, Lianwen Jin, Xiang Bai

分类: cs.CV, cs.AI

发布日期: 2024-04-30 (更新: 2024-12-05)

💡 一句话要点

提出VimTS以解决跨域文本检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本检测 跨域适应 多任务学习 视频分析 合成数据集

📋 核心要点

  1. 现有文本检测方法在跨域适应方面存在不足，特别是在图像到视频的泛化能力上。
  2. VimTS通过提示查询生成模块和任务感知适配器，将单任务模型转变为多任务模型，增强了不同任务之间的协同作用。
  3. 在多个跨域基准测试中，VimTS的性能超越了当前最先进的方法，显示出显著的提升效果。

📝 摘要（中文）

文本检测任务涉及从图像或视频序列中提取文本信息，但在跨域适应中面临诸多挑战，如图像到图像和图像到视频的泛化能力不足。本文提出了一种新方法VimTS，通过不同任务之间的协同作用来增强模型的泛化能力。我们设计了一个提示查询生成模块和一个任务感知适配器，有效地将原单任务模型转换为适用于图像和视频场景的多任务模型，且仅需最少的额外参数。此外，我们利用内容变形场（CoDeF）算法构建了合成视频文本数据集（VTD-368k），以低成本学习时间信息。实验结果表明，VimTS在六个跨域基准测试中平均提升2.6%，在视频级跨域适应中，MOTA指标平均提升5.5%。

🔬 方法详解

问题定义：本文旨在解决文本检测任务在跨域适应中的挑战，尤其是图像到视频的泛化能力不足，现有方法在不同任务之间的协同作用较弱，导致性能下降。

核心思路：VimTS的核心思路是通过设计提示查询生成模块和任务感知适配器，增强不同任务之间的互动，从而实现更好的跨域泛化能力。这样的设计使得模型能够动态学习适合每个任务的特征，提升整体性能。

技术框架：VimTS的整体架构包括两个主要模块：提示查询生成模块用于促进任务间的显式交互，任务感知适配器则帮助模型根据任务动态调整特征学习。通过这种方式，模型可以在图像和视频场景中有效工作。

关键创新：VimTS的关键创新在于其能够将单任务模型转变为多任务模型，且仅需最少的额外参数，显著降低了模型的复杂性和训练成本。这与现有方法相比，提供了更高的灵活性和效率。

关键设计：在设计中，模型采用了特定的损失函数来优化任务间的协同学习，同时在网络结构上进行了适当的调整，以支持多任务学习的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VimTS在六个跨域基准测试中平均提升了2.6%，在视频级跨域适应中，MOTA指标平均提升5.5%。这些结果表明，VimTS在处理跨域文本检测任务时，性能显著优于现有的最先进方法，展示了其强大的实用性和有效性。

🎯 应用场景

VimTS的研究成果在多个领域具有广泛的应用潜力，包括智能监控、自动驾驶、增强现实等场景中对文本信息的实时提取与分析。随着技术的进步，VimTS有望在跨域文本检测任务中发挥更大的作用，推动相关领域的发展。

📄 摘要（原文）

Text spotting, a task involving the extraction of textual information from image or video sequences, faces challenges in cross-domain adaption, such as image-to-image and image-to-video generalization. In this paper, we introduce a new method, termed VimTS, which enhances the generalization ability of the model by achieving better synergy among different tasks. Typically, we propose a Prompt Queries Generation Module and a Tasks-aware Adapter to effectively convert the original single-task model into a multi-task model suitable for both image and video scenarios with minimal additional parameters. The Prompt Queries Generation Module facilitates explicit interaction between different tasks, while the Tasks-aware Adapter helps the model dynamically learn suitable features for each task. Additionally, to further enable the model to learn temporal information at a lower cost, we propose a synthetic video text dataset (VTD-368k) by leveraging the Content Deformation Fields (CoDeF) algorithm. Notably, our method outperforms the state-of-the-art method by an average of 2.6% in six cross-domain benchmarks such as TT-to-IC15, CTW1500-to-TT, and TT-to-CTW1500. For video-level cross-domain adaption, our method even surpasses the previous end-to-end video spotting method in ICDAR2015 video and DSText v2 by an average of 5.5% on the MOTA metric, using only image-level data. We further demonstrate that existing Large Multimodal Models exhibit limitations in generating cross-domain scene text spotting, in contrast to our VimTS model which requires significantly fewer parameters and data. The code and datasets will be made available at the https://VimTextSpotter.github.io.