Hawkeye: Reading Illegible Text with Vision Language Models

📄 arXiv: 2610.41254v1 📥 PDF

作者: Brian Tang, Kang G. Shin

分类: cs.CV

发布日期: 2026-10-30

备注: For datasets, code, models: https://byron123t.github.io/hawkeye/

💡 一句话要点

提出Hawkeye以解决模糊文本识别问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 模糊文本识别 视觉语言模型 上下文先验 像素级对齐 实时部署

📋 核心要点

  1. 现有的视觉语言模型在处理模糊或低分辨率文本时表现不佳，尤其是在噪声环境中捕获的文本。
  2. 本文提出的Hawkeye模型通过在BSTRB基准上微调，利用上下文信息和像素对齐技术来提升模糊文本的识别能力。
  3. 实验结果显示，Hawkeye在BSTRB基准上与更大模型相当，并在低分辨率文本识别上表现更优，适合实时应用。

📝 摘要（中文）

现代视觉语言模型在一般场景文本识别方面取得了显著成功，但在运动模糊或低分辨率等长尾文本分布上表现不佳，尤其是在智能眼镜等自我中心应用中。本文提出了BSTRB（模糊场景文本识别基准），包含8398个噪声图像样本及其高保真注释，来源于1699个真实世界的视频序列。我们还介绍了Hawkeye，一个在BSTRB上微调的视觉语言模型，能够通过利用上下文先验和像素级对齐来读取和推理难以辨认的文本。实验结果表明，Hawkeye在BSTRB上的表现与更大规模的视觉语言模型相当，并在20像素或以下的文本识别中超过了它们，适合实时部署。

🔬 方法详解

问题定义：本文旨在解决现代视觉语言模型在模糊文本识别中的不足，尤其是在低分辨率和运动模糊的情况下，现有方法在这些长尾文本分布上表现不佳。

核心思路：Hawkeye通过在BSTRB基准上进行微调，结合上下文先验和像素级对齐，旨在提高对难以辨认文本的识别能力。这样的设计使得模型能够更好地理解和处理复杂的视觉信息。

技术框架：Hawkeye的整体架构包括数据预处理、模型训练和推理三个主要阶段。首先，通过BSTRB基准提供的高质量数据进行训练，然后利用训练好的模型进行实时文本识别。

关键创新：Hawkeye的主要创新在于其在模糊文本识别中的有效性，尤其是在20像素及以下的文本识别上超越了现有更大规模的视觉语言模型。这一创新使得Hawkeye在处理复杂场景时具有更高的准确性。

关键设计：在模型设计中，Hawkeye采用了特定的损失函数以优化文本识别的准确性，并在网络结构中引入了上下文信息的融合机制，以增强模型对模糊文本的理解能力。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Hawkeye在BSTRB基准上的实验结果显示，其在模糊文本识别任务中表现优异，尤其是在20像素或以下的文本识别中，超越了现有更大规模的视觉语言模型。这一成果表明Hawkeye在实时应用中的有效性，具有显著的性能提升。

🎯 应用场景

Hawkeye的研究成果在多个领域具有潜在应用价值，尤其是在增强现实（AR）和智能眼镜等自我中心应用中。通过提高模糊文本的识别能力，Hawkeye可以帮助用户在复杂环境中更好地获取信息，提升人机交互的效率和体验。此外，该技术还可扩展到自动驾驶、智能监控等领域，具有广泛的市场前景。

📄 摘要（原文）

While modern Vision-Language Models (VLMs) have been remarkably successful in general scene text recognition, they consistently struggle with the long-tail distribution of text that is degraded by motion blur or low resolution. These limitations are particularly apparent in egocentric applications like smart glasses, where text is often captured in noisy environments. In this paper, we introduce the \textbf{BSTRB} (Blurry Scene Text Recognition Benchmark), a novel benchmark of 8,398 noisy image samples with high-fidelity annotations derived from 1,699 real-world video sequences. To support this, we present \textbf{Hawkeye}, a VLM fine-tuned on BSTRB to read and reason about illegible text by leveraging contextual priors and pixel-level alignment. Our results show that \name matches much larger VLMs on BSTRB overall and exceeds them on text at or below 20 pixels, in a single pass suited to real-time deployment. We characterize the resolution at which current VLMs begin to fail.