Quantifying and Mitigating Korean Jamo-Level Typographical Vulnerabilities in Large Language Models

📄 arXiv: 2608.30229v1 📥 PDF

作者: Seojin Lee, Hwanhee Lee

分类: cs.CL

发布日期: 2026-08-31

备注: Accepted to EMNLP 2026 (Main Conference)

💡 一句话要点

提出Typo-Aware Chain-of-Thought以解决韩文Jamo级别的输入错误问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 排版错误 韩文处理 链式推理 鲁棒性 文本纠错 自然语言处理

📋 核心要点

  1. 现有的语言模型在处理韩文输入时，无法有效应对Jamo级别的排版错误，导致模型对错误输入的鲁棒性不足。
  2. 论文提出了一种新的Typo-Aware Chain-of-Thought（TACoT）方法，通过探测输入中的潜在错误来优化推理过程。
  3. 实验结果表明，TACoT在处理错误输入时显著提高了模型的准确性，且推理成本较低，具有良好的实用性。

📝 摘要（中文）

韩文引入了一种额外的排版扰动级别，普通字符级编辑模型无法捕捉。这种扰动可能导致有效但语义改变的字符或暴露原始Jamo，干扰子词分词，现有的语法错误纠正管道无法可靠修正。本文通过对KMMLU基准的五种Jamo级扰动类型进行评估，发现准确率随着扰动强度单调下降，且参数扩展并未增强对音节内噪声的鲁棒性。我们进一步展示了输入错误导致内部表示的显著变化，并提出Typo-Aware Chain-of-Thought（TACoT），在探测到可能的输入错误时引导输入进行链式推理，从而以较低的推理成本恢复了相当一部分的准确性提升。

🔬 方法详解

问题定义：本文旨在解决韩文输入中由于Jamo级别的排版错误导致的语言模型鲁棒性不足的问题。现有的语法错误纠正方法无法有效处理这种类型的错误，导致模型对输入的敏感性增加。

核心思路：论文提出的核心思路是通过构建Typo-Aware Chain-of-Thought（TACoT），在探测到可能的输入错误时，动态调整推理路径，从而提高模型的准确性和效率。

技术框架：整体架构包括输入探测模块、链式推理模块和输出生成模块。输入探测模块使用线性探测器识别潜在的排版错误，链式推理模块在确认错误时进行推理，最后生成输出。

关键创新：最重要的技术创新在于引入了Jamo级别的扰动量化方法和Typo-Aware Chain-of-Thought机制，使得模型能够在面对特定类型的输入错误时，进行更为有效的推理。与现有方法相比，TACoT能够更好地适应韩文的特性。

关键设计：在设计中，使用了线性探测器来识别输入中的错误，损失函数则针对错误类型进行了优化，以提高模型对扰动的敏感性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，TACoT在处理Jamo级别的输入错误时，准确率显著提升，且在不同扰动强度下表现出良好的鲁棒性。与基线模型相比，TACoT在准确性上恢复了相当一部分的提升，同时推理成本降低，显示出较高的实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本纠错、智能输入法以及多语言翻译系统。通过提高模型对韩文输入错误的鲁棒性，可以显著提升用户体验，减少因输入错误导致的理解偏差，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Korean introduces an additional typographical perturbation level not captured by ordinary character-level edit models: because syllable blocks are internally composed of sub-character units called jamo, keyboard-level errors can occur within a syllable, either producing a valid but semantically altered character or exposing raw jamo on the surface. Both outcomes disrupt sub-word tokenization and are not reliably corrected by existing grammatical error correction pipelines, leaving LLMs directly exposed to corrupted inputs. To quantify this vulnerability, we apply five jamo-level perturbation types to the KMMLU benchmark and evaluate four language models, finding that accuracy declines monotonically with perturbation intensity and that parameter scaling does not confer robustness against intra-syllabic noise. We further show that typo-corrupted inputs induce a distinct shift in internal representations that is not reducible to ordinary answer incorrectness, and that a simple linear probe trained on these representations detects unseen perturbation types with high AUROC. Motivated by this signal, we propose Typo-Aware Chain-of-Thought (TACoT), which routes inputs to chain-of-thought inference only when the probe detects a likely typo, recovering a substantial portion of the CoT accuracy gain at a fraction of the inference cost.