OmniHandwritingOCR: A Diagnostic Benchmark for Evaluating Multimodal LLMs in Handwritten OCR Scenarios

📄 arXiv: 2608.18586v1 📥 PDF

作者: Zinuo Guo, Min Zhang, Bo Jiang

分类: cs.CV, cs.AI

发布日期: 2026-08-19

备注: CIKM 2026

💡 一句话要点

提出OmniHandwritingOCR以解决手写OCR评估的不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手写OCR 多模态大型语言模型 数学表达式识别 评估基准 鲁棒性测试

📋 核心要点

  1. 现有OCR基准主要集中于印刷文本，缺乏对复杂手写场景的评估，导致模型在真实应用中的表现不佳。
  2. 本文提出OmniHandwritingOCR基准，涵盖多种手写识别任务，特别是针对结构复杂的数学表达式进行评估。
  3. 实验评估显示，现有系统在复杂多行公式上的表现显著下降，揭示了多模态模型在手写OCR中的多种失败模式。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在文档和知识处理管道中越来越多地被用作OCR系统，但它们在真实手写文本识别中的能力尚未得到充分探索。现有的OCR基准主要集中在印刷文本或干净的单行输入上，缺乏对多语言手写、书写错误和结构复杂的数学表达式等现实手写OCR场景的覆盖。为此，本文提出了OmniHandwritingOCR，这是一个用于评估MLLMs和OCR系统在手写OCR场景中的诊断基准，涵盖了手写文本识别和手写数学表达式识别的六个子任务和十二个子集，共计77.57K标注图像。实验结果表明，当前系统在复杂多行公式上的表现显著下降，模型排名在不同语言和公式设置下变化，且一些生成模型会产生视觉上不支持的合理但错误的修正。

🔬 方法详解

问题定义：本文旨在解决现有OCR系统在手写文本识别中的不足，尤其是在多语言、书写错误和复杂结构的数学表达式方面的挑战。现有方法在这些场景下的表现不理想，缺乏有效的评估基准。

核心思路：论文提出OmniHandwritingOCR基准，通过设计多种手写识别任务和难度分级的多行公式语料库，来全面评估MLLMs在手写OCR中的表现，特别是在结构复杂性增加时的鲁棒性。

技术框架：整体架构包括六个子任务和十二个子集，涵盖手写文本和数学表达式识别。通过统一协议评估十三个开源和闭源系统，使用五个互补指标进行比较。

关键创新：最重要的创新在于引入了难度分级的多行公式语料库，能够有效测试模型在结构复杂性增加时的表现，与现有方法相比，提供了更全面的评估标准。

关键设计：在实验中，使用了77.57K标注图像，涵盖了公共数据集和新收集的学生书写，设计了多种评估指标以全面反映模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前系统在复杂多行公式上的表现显著下降，性能下降幅度达到XX%（具体数据未知），并且模型在不同语言和公式设置下的排名变化明显，揭示了多模态模型在手写OCR中的多种失败模式。

🎯 应用场景

该研究的潜在应用领域包括教育、文档数字化和智能助手等，能够帮助提高手写文本和数学表达式的识别准确性，推动多模态模型在实际应用中的发展。未来，该基准可能成为手写OCR领域的标准评估工具，促进相关技术的进步。

📄 摘要（原文）

Multimodal large language models (MLLMs) are increasingly used as OCR systems in document and knowledge-processing pipelines, but their ability to faithfully read real handwriting remains underexplored. Existing OCR benchmarks focus largely on printed text or clean single-line inputs, leaving limited coverage of realistic handwritten OCR scenarios such as multilingual handwriting, writer errors, and structurally complex mathematical expressions. We introduce OmniHandwritingOCR, a diagnostic benchmark for evaluating MLLMs and OCR systems on handwritten OCR. It covers handwritten text recognition and handwritten mathematical expression recognition across six subtasks and twelve subsets, totaling 77.57K labeled images from public datasets and newly collected student writings. A key component is a difficulty-stratified multi-line formula corpus designed to test robustness under increasing structural complexity. We evaluate thirteen open- and closed-source systems with five complementary metrics under a unified protocol. Results show that current systems remain far from faithful transcription: performance drops sharply on complex multi-line formulas, model rankings vary across language and formula settings, and several generative models hallucinate plausible but visually unsupported corrections. OmniHandwritingOCR provides a challenging testbed for diagnosing language, content, structural, and visual-grounding failure modes of multimodal models in handwritten OCR scenarios.