When Similar Means Different: Evaluating LLMs on Arabic--Hebrew Cognates

📄 arXiv: 2606.13218v1 📥 PDF

作者: Junhong Liang, Noor Abo Mokh, Bashar Alhafni

分类: cs.CL

发布日期: 2026-06-11

💡 一句话要点

提出SemCog Bench以评估阿拉伯语-希伯来语同源词的语义理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同源词 跨语言推理 语义消歧 大型语言模型 阿拉伯语 希伯来语 基准评估

📋 核心要点

  1. 现有大型语言模型在处理阿拉伯语和希伯来语的同源词时存在显著的跨语言推理能力差距，尤其是在假朋友和借词的识别上。
  2. 本文提出SemCog Bench基准，包含1858对阿拉伯语-希伯来语词汇，旨在评估同源词识别和语义消歧能力。
  3. 实验结果显示，尽管模型在真实同源词上表现良好，但在假朋友和借词上性能显著下降，表明当前模型对表面形式的依赖性强。

📝 摘要（中文）

阿拉伯语和希伯来语作为密切相关的闪米特语言，拥有大量的真实同源词、误导性假朋友和现代借词。这种词汇重叠对大型语言模型（LLMs）的跨语言语义理解构成挑战。为评估这一能力，本文引入了SemCog Bench，一个包含1858对阿拉伯语-希伯来语词汇的基准，提供了同源词识别和语义消歧的句子级注释。我们评估了多种开源和商业LLMs，发现模型在真实同源词上表现良好，但在假朋友和借词上性能显著下降，反映出对表面形式相似性的强烈依赖。句子级上下文的使用仅带来了适度的改善，表明上下文线索不足以克服误导性的形式信号。这些发现揭示了当前LLMs在解决跨语言形式与意义冲突方面的基本局限性，并确立了SemCog Bench作为多语言语义推理的严格基准。我们的代码和数据已公开可用。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在阿拉伯语和希伯来语同源词的语义理解中的不足，尤其是在假朋友和借词的处理上。现有方法在跨语言推理时表现不佳，无法有效区分同源词和误导性词汇。

核心思路：论文提出SemCog Bench基准，通过构建包含真实同源词、假朋友和借词的词汇对，评估模型在语义消歧和同源词识别方面的能力。该设计旨在揭示模型在处理相似词汇时的局限性。

技术框架：整体架构包括数据集构建、模型评估和结果分析三个主要模块。首先，构建包含句子级注释的词汇对；其次，评估多种LLMs在不同输入表示下的表现；最后，分析模型在不同类型词汇上的表现差异。

关键创新：最重要的技术创新在于引入了SemCog Bench这一基准，系统性地评估了LLMs在跨语言语义理解中的能力，尤其是对假朋友和借词的处理能力。与现有方法相比，该基准提供了更为细致的评估标准。

关键设计：在实验中，使用了多种输入表示（原始、带元音符号、罗马化和音标）来评估模型的表现，并通过句子级上下文进行补充，尽管结果显示上下文的改善有限。

📊 实验亮点

实验结果表明，模型在真实同源词上的准确率较高，但在假朋友和借词上的表现显著下降，显示出对表面形式的依赖性。具体而言，模型在假朋友上的准确率下降幅度超过30%，而上下文信息的引入仅带来了约5%的性能提升。

🎯 应用场景

该研究的潜在应用领域包括跨语言信息检索、机器翻译和多语言自然语言处理系统。通过提升模型对同源词和误导性词汇的理解能力，可以增强多语言应用的准确性和可靠性，推动相关技术的发展。

📄 摘要（原文）

Arabic and Hebrew, as closely related Semitic languages, share a substantial lexicon of true cognates, misleading false friends, and modern loanwords. This overlap poses a challenge for cross-lingual semantic understanding in large language models (LLMs). To evaluate this capability, we introduce SemCog Bench, a curated benchmark of 1,858 Arabic--Hebrew word pairs with sentence-level annotations for cognate identification and semantic disambiguation. We evaluate open-source and commercial LLMs across multiple input representations (raw, diacritized, Romanized, and phonetic) and reveal a critical gap in cross-lingual reasoning. While models achieve high accuracy on true cognates, performance drops sharply on false friends and loanwords, reflecting a strong reliance on surface-form similarity. Furthermore, sentence-level context yields only modest improvements, suggesting that contextual cues alone are insufficient to overcome misleading form-based signals. These findings reveal a fundamental limitation of current LLMs in resolving cross-lingual form--meaning conflicts and establish SemCog Bench as a rigorous benchmark for multilingual semantic reasoning. Our code and data are publicly available.