They Know Where It Is, But Not What It Says: A Bilingual Hallucination Benchmark of Hadith Recall in Open LLMs
作者: Dayam Nadeem, Safdar Mustafa, Ameen Ur Rehman, Shahab Saquib Sohail, Mohammad Nadeem, Usman Naseem
分类: cs.CL, cs.AI
发布日期: 2026-11-02
🔗 代码/项目: GITHUB
💡 一句话要点
提出双语基准以评估开放语言模型在哈迪斯回忆中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 哈迪斯回忆 开放语言模型 双语基准 文本生成 语义保真度 词汇保真度 检索增强生成
📋 核心要点
- 当前开放权重的语言模型在哈迪斯回忆任务中表现不佳，无法提供准确的文本回忆，存在潜在的误导风险。
- 本文提出了一个双语基准，评估五种开放权重语言模型在六部经典哈迪斯集中的回忆能力，强调检索增强的重要性。
- 实验结果显示，所有模型在30,000个响应中均未能实现高保真度，尤其是阿拉伯语响应的表现更差，凸显了现有模型的局限性。
📝 摘要（中文）
大型语言模型在宗教知识，尤其是哈迪斯（先知穆罕默德的言行记录）的回忆中越来越受到关注。与开放式生成不同，哈迪斯回忆是一项高风险、可验证的任务，要求模型准确重现特定文本。本文提出了一个双语（英语/阿拉伯语）基准，评估五种开放权重的语言模型在六部经典逊尼哈迪斯集中的表现。研究发现，所有模型在30,000个响应中均未能实现高词汇和语义保真度，表明当前模型在宗教文本回忆中不可靠，建议在伊斯兰学术研究中使用检索增强生成方法。
🔬 方法详解
问题定义：本文旨在解决开放语言模型在哈迪斯回忆任务中的不可靠性问题。现有方法未能提供准确的文本回忆，可能导致误导性信息的传播。
核心思路：本研究通过引入双语基准，评估模型在哈迪斯回忆中的表现，强调在没有检索增强的情况下，模型的回忆能力是有限的。
技术框架：研究评估了五种开放权重的语言模型，针对六部经典逊尼哈迪斯集进行测试。每个模型仅提供书目引用，要求其重现确切的哈迪斯文本，评估指标包括词汇保真度（BLEU）和语义保真度（多语言余弦相似度）。
关键创新：最重要的创新在于提出了双语基准，系统性地评估了开放语言模型在高风险文本回忆任务中的表现，强调了检索增强生成的重要性。
关键设计：研究中使用了500个哈迪斯样本，每个模型在每种语言中生成30,000个响应，评估过程中未使用检索增强，确保了评估的严谨性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，五种模型在30,000个响应中均未能实现高词汇和语义保真度，表明当前开放权重的语言模型在哈迪斯回忆中表现不佳，尤其是阿拉伯语响应的准确性显著低于英语。这一发现强调了在宗教文本回忆中使用检索增强生成的必要性。
🎯 应用场景
该研究的潜在应用领域包括宗教教育、自动化知识检索和文本生成等。通过提高语言模型在特定领域的准确性，可以为学术研究和宗教文本的学习提供更可靠的工具，减少误导性信息的传播。
📄 摘要（原文）
Large language models are increasingly consulted for religious knowledge, including the recall of specific Hadith (recorded sayings and actions of the Prophet Muhammad, peace be upon him). Unlike open-ended generation, Hadith recall is a high-stakes, verifiable task: a reference (collection, chapter, and Hadith number) has exactly one correct text, and any deviation from it constitutes a fabrication that can be mistaken for authentic scripture. This study introduces a bilingual (English/Arabic) benchmark that probes five open-weight, locally-deployable language models (Mistral-7B, Gemma3-4B, Jais-7B, ALLaM-7B, and Phi4-mini-3.8B) across all six canonical Sunni Hadith collections (Sahih al-Bukhari, Sahih Muslim, Sunan Abi Da'ud, Jami' al-Tirmidhi, Sunan an-Nasa'i, Sunan Ibn Majah), sampling 500 Hadith per collection (3,000 per model per language, 30,000 responses total). Each model is given only the bibliographic reference and asked to reproduce the exact Hadith text, with no retrieval augmentation, and is scored on lexical fidelity (BLEU) and semantic fidelity (multilingual cosine similarity), with refusals flagged separately. Across all five models and both languages, 0% of 30,000 responses achieve both high lexical and high semantic fidelity, i.e., an exact, verifiable match to the source text. Arabic responses fare uniformly worse than English. These findings suggest that current open-weight LLMs, used without retrieval grounding, are unreliable and potentially dangerous sources for exact religious-text recall, and that deployment for Islamic scholarship should mandate retrieval-augmented generation over a verified corpus rather than parametric memory. The complete code, prompts, evaluation pipeline, and scored outputs are publicly available at https://github.com/dayam8696/Hadith-Hallucination-Benchmark.