Open-Vocabulary Scene Text Recognition via Pseudo-Image Labeling and Margin Loss

📄 arXiv: 2403.07518v1 📥 PDF

作者: Xuhua Ren, Hengcan Shi, Jin Li

分类: cs.CV

发布日期: 2024-03-12

💡 一句话要点

提出Pseudo-OCR以解决场景文本识别中的OOV问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 场景文本识别 开放词汇 伪标签生成 质量感知损失 字符检测 图像修复 语义检查

📋 核心要点

  1. 现有方法主要集中于识别预定义单词，无法处理现实应用中的超出词汇表（OOV）单词，缺乏OOV训练数据是主要挑战。
  2. 提出的Pseudo-OCR框架通过伪标签生成模块和语义检查机制，利用真实图像生成伪OOV训练数据，并引入质量感知的边际损失函数。
  3. 实验结果显示，该方法在八个数据集上超越了当前最先进的技术，并在ICDAR2022挑战赛中获得第一名，展示了其有效性。

📝 摘要（中文）

场景文本识别是计算机视觉中的一项重要且具有挑战性的任务。然而，大多数先前的研究集中于识别预定义的单词，而现实应用中存在许多超出词汇表（OOV）的单词。本文提出了一种新颖的开放词汇文本识别框架Pseudo-OCR，以识别OOV单词。我们首先提出了一种伪标签生成模块，通过字符检测和图像修复，从真实图像中生成大量伪OOV训练数据。其次，提出了一种语义检查机制，以过滤出具有语义意义的数据。最后，引入了一种质量感知的边际损失函数，以提升伪数据的训练效果。实验结果表明，我们的方法在八个数据集上超越了最先进的技术，并在ICDAR2022挑战赛中获得第一名。

🔬 方法详解

问题定义：本文旨在解决场景文本识别中的超出词汇表（OOV）单词识别问题。现有方法通常依赖于预定义的词汇，无法适应真实场景中的多样性，导致识别能力不足。

核心思路：我们提出的Pseudo-OCR框架通过生成伪OOV训练数据来解决OOV问题。通过结合字符检测和图像修复技术，生成的伪数据包含真实字符和背景，模拟真实应用场景。

技术框架：该框架主要包括三个模块：伪标签生成模块、语义检查机制和质量感知边际损失函数。伪标签生成模块负责生成伪OOV数据，语义检查机制用于过滤无意义数据，而边际损失函数则提升模型的分类能力。

关键创新：最重要的创新在于伪标签生成模块的设计，它利用真实图像生成高质量的伪数据，而非传统的合成数据。这一方法有效地解决了OOV训练数据匮乏的问题。

关键设计：我们设计了一种质量感知的边际损失函数，该损失函数包含边际部分以增强分类能力，并对低质量样本进行惩罚，从而提升模型在真实和伪数据上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Pseudo-OCR在八个数据集上均超越了最先进的技术，特别是在ICDAR2022挑战赛中获得第一名，展示了其在OOV识别任务中的卓越性能。具体而言，该方法在多个基准测试中提升了识别准确率，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动文本识别、智能监控、无人驾驶和增强现实等。通过提高OOV单词的识别能力，能够显著提升这些应用的智能化水平和用户体验，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Scene text recognition is an important and challenging task in computer vision. However, most prior works focus on recognizing pre-defined words, while there are various out-of-vocabulary (OOV) words in real-world applications. In this paper, we propose a novel open-vocabulary text recognition framework, Pseudo-OCR, to recognize OOV words. The key challenge in this task is the lack of OOV training data. To solve this problem, we first propose a pseudo label generation module that leverages character detection and image inpainting to produce substantial pseudo OOV training data from real-world images. Unlike previous synthetic data, our pseudo OOV data contains real characters and backgrounds to simulate real-world applications. Secondly, to reduce noises in pseudo data, we present a semantic checking mechanism to filter semantically meaningful data. Thirdly, we introduce a quality-aware margin loss to boost the training with pseudo data. Our loss includes a margin-based part to enhance the classification ability, and a quality-aware part to penalize low-quality samples in both real and pseudo data. Extensive experiments demonstrate that our approach outperforms the state-of-the-art on eight datasets and achieves the first rank in the ICDAR2022 challenge.