YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese

📄 arXiv: 2607.00664v1 📥 PDF

作者: Ryota Mibayashi, Hiroya Takamura, Hitomi Yanaka

分类: cs.CL

发布日期: 2026-07-01

💡 一句话要点

提出YOMI-Bench以评估日语汉字阅读与语音理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 汉字阅读 语音理解 大型语言模型 基准测试 日语处理 自然语言处理 模型评估

📋 核心要点

  1. 现有的语言模型在日语汉字阅读方面表现不佳，主要由于汉字的多读音特性使得正确读音难以推断。
  2. YOMI-Bench通过设计四个特定任务，旨在系统性地评估和提升LLMs在汉字阅读和语音理解方面的能力。
  3. 评估结果显示，日语特定模型和商业模型在汉字阅读任务中均表现不佳，亟需改进和优化。

📝 摘要（中文）

我们提出了YOMI-Bench，这是一个用于评估大型语言模型（LLMs）在日语汉字阅读和语音理解能力的基准测试。在日语中，单个汉字通常有多种可能的读音，仅凭表面文本难以推断正确读音。由于这些语言特性，实证研究表明LLMs在汉字阅读方面表现不佳。YOMI-Bench包含四个专门设计的任务，以评估日语汉字阅读性能。在使用YOMI-Bench进行评估时，我们考察了一种多语言开放LLM、四种日语特定开放LLM和五种商业LLM。结果发现，即使是日语特定模型的表现也较低，商业模型在需要考虑汉字读音的生成任务上表现同样不佳。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在日语汉字阅读和语音理解方面的低效能问题。现有方法未能有效处理汉字的多读音特性，导致模型在实际应用中的表现不佳。

核心思路：YOMI-Bench通过设计四个专门的评估任务，针对汉字的多读音特性，提供一个系统化的基准测试框架，以评估和比较不同LLMs的性能。

技术框架：YOMI-Bench的整体架构包括四个任务模块，分别针对不同的汉字阅读场景，涵盖了从基础读音到复杂语境的多层次评估。每个任务都设计了特定的输入输出格式，以确保评估的全面性和准确性。

关键创新：YOMI-Bench的最大创新在于其专门针对日语汉字的多读音特性设计的评估任务，这与现有的通用语言模型评估方法有本质区别，能够更准确地反映模型在特定语言环境下的表现。

关键设计：在任务设计中，考虑了汉字的多种读音和语境影响，设置了相应的评价指标和损失函数，以确保模型在生成任务中能有效考虑汉字的读音变化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，评估的日语特定模型和商业模型在汉字阅读任务中的表现均低于预期，具体而言，日语特定模型的平均准确率不足50%，而商业模型在生成任务中的表现同样不理想。这一发现强调了针对汉字阅读能力的进一步研究和优化的必要性。

🎯 应用场景

YOMI-Bench的研究成果可广泛应用于日语自然语言处理领域，尤其是在教育、翻译和语音识别等场景中。通过提升模型的汉字阅读能力，可以增强人机交互的自然性和准确性，推动相关技术的进步与应用。

📄 摘要（原文）

We propose YOMI-Bench, a benchmark for evaluating kanji reading and phonological understanding of large language models (LLMs) for Japanese. In Japanese, a single kanji character often has multiple possible readings, making it difficult to infer the correct reading from surface-level text alone. Due to these linguistic characteristics, it is empirically known that LLMs exhibit low performance in kanji reading for Japanese. The proposed YOMI-Bench consists of four tasks specifically designed to evaluate kanji reading performance in Japanese. In our evaluation using YOMI-Bench, we assessed one multilingual open LLM, four Japanese-specific open LLMs, and five commercial LLMs. As a result, we found that even Japanese-specific models show low performance, and that commercial models also perform poorly on generation tasks that require consideration of kanji readings.