When Similar Means Different: Evaluating LLMs on Arabic--Hebrew Cognates

📄 arXiv: 2606.13218 📥 PDF

作者: Junhong Liang, Noor Abo Mokh, Bashar Alhafni

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出SemCog Bench以评估阿拉伯语-希伯来语同源词的语义理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 跨语言理解 同源词 语义消歧 基准评估 阿拉伯语 希伯来语

📋 核心要点

  1. 现有大型语言模型在处理阿拉伯语和希伯来语的同源词时面临挑战，尤其是在假朋友和借词的语义理解上表现不佳。
  2. 本文提出SemCog Bench基准，包含1858对阿拉伯语-希伯来语词汇，旨在评估模型在同源词识别和语义消歧方面的能力。
  3. 实验结果显示，尽管模型在真实同源词上表现良好，但在假朋友和借词上准确率显著下降，表明当前模型对表面形式的依赖性强。

📝 摘要（中文）

阿拉伯语和希伯来语作为密切相关的闪米特语言，共享大量真实同源词、误导性假朋友和现代借词。这种重叠对大型语言模型（LLMs）的跨语言语义理解构成挑战。为评估这一能力，本文引入了SemCog Bench，一个包含1858对阿拉伯语-希伯来语词汇的基准，提供了同源词识别和语义消歧的句子级注释。我们评估了多种开源和商业LLMs在不同输入表示（原始、带元音符号、罗马化和音标）下的表现，揭示了跨语言推理中的关键差距。尽管模型在真实同源词上表现良好，但在假朋友和借词上的表现急剧下降，反映出对表面形式相似性的强烈依赖。此外，句子级上下文仅带来适度改善，表明上下文线索不足以克服误导性的形式信号。这些发现揭示了当前LLMs在解决跨语言形式-意义冲突方面的基本局限性，并确立了SemCog Bench作为多语言语义推理的严格基准。我们的代码和数据已公开可用。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在阿拉伯语和希伯来语同源词的语义理解中的不足，尤其是对假朋友和借词的处理能力较弱。现有方法在跨语言推理中存在明显的性能差距。

核心思路：通过引入SemCog Bench基准，提供系统化的测试框架，评估模型在不同输入表示下的表现，特别关注同源词识别和语义消歧的能力。

技术框架：整体架构包括数据集构建、模型评估和结果分析三个主要模块。数据集包含多种输入形式，模型评估则通过对比不同LLMs的表现来进行。

关键创新：SemCog Bench的引入是本文的核心创新，它为跨语言语义理解提供了一个标准化的评估工具，填补了现有研究中的空白。

关键设计：在实验中，采用了多种输入表示方式（如原始、带元音符号、罗马化和音标），并通过句子级上下文进行评估，旨在分析不同因素对模型表现的影响。

📊 实验亮点

实验结果显示，模型在真实同源词上的准确率较高，但在假朋友和借词上的表现下降超过30%。此外，句子级上下文的引入仅带来约5%的性能提升，表明上下文信息不足以解决形式与意义之间的冲突。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在多语言处理、翻译系统和跨文化交流中。通过提高模型对同源词的理解能力，可以增强机器翻译的准确性和自然性，促进不同语言之间的有效沟通。

📄 摘要（原文）

Arabic and Hebrew, as closely related Semitic languages, share a substantial lexicon of true cognates, misleading false friends, and modern loanwords. This overlap poses a challenge for cross-lingual semantic understanding in large language models (LLMs). To evaluate this capability, we introduce SemCog Bench, a curated benchmark of 1,858 Arabic--Hebrew word pairs with sentence-level annotations for cognate identification and semantic disambiguation. We evaluate open-source and commercial LLMs across multiple input representations (raw, diacritized, Romanized, and phonetic) and reveal a critical gap in cross-lingual reasoning. While models achieve high accuracy on true cognates, performance drops sharply on false friends and loanwords, reflecting a strong reliance on surface-form similarity. Furthermore, sentence-level context yields only modest improvements, suggesting that contextual cues alone are insufficient to overcome misleading form-based signals. These findings reveal a fundamental limitation of current LLMs in resolving cross-lingual form--meaning conflicts and establish SemCog Bench as a rigorous benchmark for multilingual semantic reasoning. Our code and data are publicly available.