MSA at SemEval-2025 Task 3: High Quality Weak Labeling and LLM Ensemble Verification for Multilingual Hallucination Detection

📄 arXiv: 2505.20880v1 📥 PDF

作者: Baraa Hikal, Ahmed Nasreldin, Ali Hamdi

分类: cs.CL

发布日期: 2025-05-27

💡 一句话要点

提出多语言幻觉检测方法以解决LLM生成文本的可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言处理 幻觉检测 大型语言模型 集成学习 文本生成

📋 核心要点

  1. 当前大型语言模型生成的文本中存在幻觉现象，导致信息不准确，影响实际应用。
  2. 我们提出了一种结合提示工程与LLM集成验证的框架，通过概率投票机制提高幻觉片段的检测准确性。
  3. 实验结果显示，我们的系统在多种语言中表现优异，尤其在阿拉伯语和巴斯克语中取得了第一名的成绩。

📝 摘要（中文）

本文描述了我们在SemEval-2025任务3中的提交，旨在检测由指令调优的大型语言模型生成的文本中的幻觉片段。我们的方法结合了特定任务的提示工程与LLM集成验证机制，主要模型提取幻觉片段，三个独立的LLM通过基于概率的投票来裁定其有效性。该框架模拟了共享任务验证和测试数据中使用的人类注释工作流程。此外，模糊匹配技术用于精细调整片段对齐。我们的系统在阿拉伯语和巴斯克语中排名第一，在德语、瑞典语和芬兰语中排名第二，在捷克语、波斯语和法语中排名第三。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成文本中的幻觉片段检测问题。现有方法在多语言环境下的准确性和可靠性不足，难以有效识别幻觉现象。

核心思路：我们的方法通过任务特定的提示工程与LLM集成验证机制相结合，利用多个模型的投票机制来提高幻觉检测的准确性，模拟人类注释的过程。

技术框架：整体架构包括一个主模型用于提取幻觉片段，三个独立的LLM进行有效性裁定，采用概率投票的方式进行最终判断。此外，模糊匹配技术用于优化片段的对齐。

关键创新：本研究的创新点在于引入了LLM集成验证机制，通过多个模型的投票来提高检测的可靠性，这与传统的单一模型方法有本质区别。

关键设计：在参数设置上，我们对提示进行了精细设计，以适应不同语言的特性；损失函数采用了适应性调整策略，以提高模型在多语言环境下的表现。

📊 实验亮点

实验结果表明，我们的系统在阿拉伯语和巴斯克语中排名第一，在德语、瑞典语和芬兰语中排名第二，在捷克语、波斯语和法语中排名第三，显示出显著的性能提升，验证了我们方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言文本生成的质量控制、内容审核和信息检索等。通过提高幻觉检测的准确性，可以增强大型语言模型在实际应用中的可靠性，促进其在教育、法律和医疗等关键领域的应用。

📄 摘要（原文）

This paper describes our submission for SemEval-2025 Task 3: Mu-SHROOM, the Multilingual Shared-task on Hallucinations and Related Observable Overgeneration Mistakes. The task involves detecting hallucinated spans in text generated by instruction-tuned Large Language Models (LLMs) across multiple languages. Our approach combines task-specific prompt engineering with an LLM ensemble verification mechanism, where a primary model extracts hallucination spans and three independent LLMs adjudicate their validity through probability-based voting. This framework simulates the human annotation workflow used in the shared task validation and test data. Additionally, fuzzy matching refines span alignment. Our system ranked 1st in Arabic and Basque, 2nd in German, Swedish, and Finnish, and 3rd in Czech, Farsi, and French.