How Surprising Is Historical Italian to Language Models? Tokenization Tax, Comprehension Tax, and a Simple Mitigation
作者: Maria Levchenko
分类: cs.CL, cs.DL
发布日期: 2026-06-25
备注: The 22nd Conference on Information and Research Science Connecting to Digital and Library Science
💡 一句话要点
提出诊断框架以解决历史意大利语对语言模型的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 历史语言处理 数字图书馆 语义检索 预测不确定性 标记化成本 上下文敏感性
📋 核心要点
- 现有方法未能充分理解大型语言模型在处理历史语言时面临的多维度挑战。
- 论文提出的诊断框架将历史语言的困难分解为标记化成本、预测不确定性等四个维度，提供了更细致的分析视角。
- 实验结果显示，17世纪意大利语的预测难度显著高于现代意大利语，而简单的上下文提示能够有效降低历史文本的理解难度。
📝 摘要（中文）
大型语言模型（LLMs）在数字图书馆工作流程中越来越重要，但它们处理历史语言的能力仍然不够清楚。历史语言的困难通常被视为一个整体障碍，混淆了正字法变化、语言距离和预训练暴露。本文提出了一种诊断框架，将这种困难分解为四个不同的维度：标记化成本、预测不确定性、语义鲁棒性和上下文敏感性。通过对三个跨越三个世纪的数据集进行评估，结果显示编码成本与理解之间存在明显的分离。尽管俄语和早期现代意大利语的标记化惩罚相似，但它们的预测难度却大相径庭。最后，研究表明，最小的时间上下文提示可以将历史惊讶度降低约60%。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在处理历史意大利语时的理解困难，现有方法未能有效区分影响因素，如正字法变化和语言距离等。
核心思路：提出一种诊断框架，将历史语言的理解困难分解为四个维度，便于更深入的分析和理解。通过这种方式，能够更清晰地识别出影响模型性能的具体因素。
技术框架：框架包括四个主要维度：标记化成本、预测不确定性、语义鲁棒性和上下文敏感性。通过对不同历史文本数据集的分析，评估这些维度对模型性能的影响。
关键创新：最重要的创新在于将历史语言的理解困难细分为多个维度，而不是将其视为单一障碍。这种细分方法使得研究者能够针对性地优化模型。
关键设计：在实验中，使用了新创建的17世纪意大利文本语料库，并与19世纪和18世纪的文本进行对比。通过分析标记化成本和预测不确定性，发现历史文本的理解难度与现代文本存在显著差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，17世纪意大利语的预测难度是现代意大利语的2.4倍，学术散文更是达到3.2倍，而俄语的预测难度仅有小幅增加。此外，使用最小的时间上下文提示可以将历史惊讶度降低约60%，显示出有效的减轻策略。
🎯 应用场景
该研究的潜在应用领域包括数字图书馆、历史文本的语义检索和自然语言处理等。通过优化大型语言模型在历史文本处理中的表现，可以提升文献检索的准确性和效率，推动人文学科的研究进展。
📄 摘要（原文）
Large language models (LLMs) are increasingly critical to digital library workflows, yet their ability to process historical language remains poorly understood. Historical difficulty is typically treated as a monolithic barrier, conflating orthographic variation, linguistic distance, and pretraining exposure. In this paper, we propose a diagnostic framework that decomposes this difficulty into four distinct dimensions: tokenization cost, predictive uncertainty (surprisal), semantic robustness, and context sensitivity. We evaluate this framework on three datasets spanning three centuries: (1) a newly curated corpus of 17th-century Italian texts (1610-1689) digitized from original page images; (2) canonical 19th-century Italian "I Promessi Sposi" serving as a high-exposure control; and (3) 18th-century Russian civil print books as a contrastive orthographic stress test. Our results reveal a distinct dissociation between encoding cost and comprehension. While Russian and early modern Italian incur comparable tokenization penalties (25-30% inflation), their predictive difficulty diverges sharply. 17th-century Italian is on average 2.4 times more surprising than its modern equivalent - with academic prose reaching 3.2 times - whereas Russian shows only a modest increase. But predictive uncertainty does not imply representational degradation: embedding similarity remains robust (> 0.85) across all datasets, confirming that models can represent historical meaning even when generation is unstable. Finally, we demonstrate that a minimal temporal context prompt reduces historical surprisal by approximately 60%, offering a simple, model-agnostic mitigation. These findings suggest that while historical text imposes a consistent encoding tax, digital libraries can safely deploy LLMs for semantic retrieval tasks, provided that generative applications are carefully adapted.