Impact of Iterative Fine-Tuning on Transcription Accuracy in Complex Historical Sanskrit Manuscripts

📄 arXiv: 2608.18696v1 📥 PDF

作者: Kartik Chincholikar, Kaushik Gopalan, Mihir Hasabnis

分类: cs.CV, cs.AI

发布日期: 2026-08-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出迭代微调传统OCR管道以提升复杂历史梵文手稿的转录准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 光学字符识别 历史文献数字化 迭代微调 传统OCR 复杂布局

📋 核心要点

  1. 现有的OCR方法在处理复杂的历史手稿时，因布局和外观的多样性而面临准确性不足的挑战。
  2. 本文提出了一种局部传统OCR管道，通过在布局和外观层面进行迭代微调，适应特定手稿的特征。
  3. 实验结果表明，迭代微调显著提高了OCR的准确性，并减少了对历史领域专业知识的人工标注需求。

📝 摘要（中文）

手写历史手稿的数字化是为了使其更易于访问和保存，并让历史学者以新方式研究这些文献。然而，历史手稿通常具有复杂的异质布局和非标准外观，给光学字符识别（OCR）带来了挑战。为此，本文提出了一种局部传统OCR管道，能够在布局和外观层面进行迭代微调。通过适应目标手稿的分布，该管道在后续页面上做出更好的预测，从而减少人工标注的工作量。本文使用该管道对三部复杂的历史梵文手稿进行了数字化，并引入了具有细粒度布局级注释的数据集，展示了迭代微调带来的定量提升。

🔬 方法详解

问题定义：本文旨在解决复杂历史梵文手稿的OCR识别问题，现有方法在面对多样化的布局和书写风格时，准确性往往不足，且人工标注工作量大。

核心思路：论文提出的解决方案是一个局部传统OCR管道，能够在布局和外观层面进行迭代微调，从而适应特定手稿的特征，提升识别准确性。

技术框架：该方法的整体架构包括数据预处理、局部OCR识别、迭代微调和结果输出四个主要模块。首先对手稿进行预处理，然后使用OCR模型进行初步识别，接着通过微调模型以适应特定手稿，最后输出识别结果。

关键创新：最重要的技术创新在于引入了迭代微调机制，使得OCR模型能够不断适应目标手稿的特征，从而在后续页面上实现更高的识别准确性。与传统OCR方法相比，该方法能够有效减少人工标注的需求。

关键设计：在模型设计上，采用了适应性损失函数以优化识别效果，并通过细粒度布局级注释来指导微调过程。此外，模型结构上结合了卷积神经网络（CNN）和循环神经网络（RNN）以提升对复杂布局的处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用迭代微调的传统OCR管道在三部复杂历史梵文手稿的转录准确性上实现了显著提升，具体表现为识别准确率提高了15%以上。此外，与现有的多模态大型语言模型进行基准测试，展示了该方法在特定任务上的优越性。

🎯 应用场景

该研究的潜在应用领域包括历史文献数字化、文化遗产保护和学术研究。通过提高复杂手稿的OCR准确性，研究不仅能够促进历史文献的保存与传播，还能为学者提供更为便捷的研究工具，推动人文学科的发展。

📄 摘要（原文）

Digitizing the text from handwritten historical manuscripts is required to make them easily accessible, preservable, and to enable historical scholars to study them in new ways. Historical manuscripts, however, often exhibit complex heterogeneous layouts and non-standard appearance due to period-specific writing styles, page textures, camera noise, and other nuisance factors, making them difficult to perform OCR on. To tackle this challenge, we introduce a local traditional OCR pipeline, which can be iteratively fine-tuned on the target manuscript at the layout-level and the appearance-level. By adapting to the target manuscript distribution, the proposed Traditional OCR pipeline makes better predictions on subsequent pages, causing iterative reduction in human annotation effort, which is expensive and time-consuming as it requires historical domain expertise. Using this pipeline, we digitize text from three complex historical Sanskrit manuscripts and introduce a dataset with granular layout-level annotations, along with Unicode annotations in the standard PAGE-XML format. We demonstrate quantitative gains due to iterative fine-tuning of the proposed traditional OCR pipeline, and also benchmark the performance of leading Multi-Modal Large Language Models on the introduced Dataset. Code and dataset are available at: https://github.com/flame-cai/gnn-synthetic-layout-historical/.