SafeLLM: Extraction as a Hallucination-Resistant Alternative to Rewriting in Safety-Critical Settings
作者: Julia Ive, Felix Jozsa, Evridiki Georgaki, Nabeel Sheikh, Emma Cattell, Nick Jackson, Paulina Bondaronek, Ciaran Scott Hill, Richard Dobson
分类: cs.CL
发布日期: 2026-06-11
💡 一句话要点
提出SafeLLM以解决安全关键环境中的重写问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 信息提取 安全关键环境 幻觉抵抗 检索增强生成 多阶段过滤 文档分析
📋 核心要点
- 现有的重写方法在安全和合规关键环境中容易引入幻觉，导致信息不准确。
- 论文提出通过提取策略替代重写，利用行号选择和多阶段过滤来提高信息的准确性和安全性。
- 实验结果显示，基于行号的提取在不同规模的模型中表现最佳，术语召回率高达95%。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地用于访问组织文档，如标准操作程序（SOPs）、人力资源政策和机构指南。然而，依赖自由形式重写的检索增强生成（RAG）系统可能引入幻觉，并在完整性与简洁性之间产生不稳定的权衡，尤其是在安全和合规关键的环境中。本文旨在评估提取作为一种抗幻觉的替代方案，并比较在不同文档类型和模型规模下平衡精度、召回率和安全性的策略。通过多种提示策略的比较，结果表明基于行号的选择在性能上优于直接复制和安全导向策略，保持高达95%的术语召回率，并与源文本紧密对齐。
🔬 方法详解
问题定义：本文解决的是在安全关键环境中，现有的重写方法容易引入幻觉和信息不准确的问题。这种方法在完整性与简洁性之间存在不稳定的权衡，影响了信息的可靠性。
核心思路：论文的核心思路是采用提取策略作为重写的替代方案，旨在减少幻觉的发生。通过行号选择和多阶段过滤，确保提取的信息既准确又安全。
技术框架：整体架构包括多个模块：首先是行号选择的源选择策略，其次是提取相关指导句子，最后是多阶段管道，通过支持证据进一步精炼草稿答案。
关键创新：最重要的技术创新点在于提出了基于行号的选择策略，显著提高了信息提取的准确性和安全性。这与现有的重写方法形成了本质区别，后者容易引入幻觉。
关键设计：在参数设置上，采用了行号选择和显式安全注释的句子提取，确保高召回率和与源文本的紧密对齐。实验中还使用了自动化指标和人类专家评估，以全面评估提取的相关性和完整性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于行号的选择策略在大型和小型模型中均表现最佳，术语召回率高达95%，明显优于直接复制和安全导向策略。安全导向方法虽然提高了精度，但引入了系统性遗漏，显示出不同策略在文档结构上的性能差异。
🎯 应用场景
该研究的潜在应用领域包括医疗、法律和其他需要高安全性和合规性的行业。通过提供更可靠的信息提取方法，SafeLLM能够帮助组织在关键决策中减少错误，提高合规性和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly used to access organisational documentation, including standard operating procedures (SOPs), HR policies and institutional guidelines. However, retrieval-augmented generation (RAG) systems that rely on free-form rewriting can introduce hallucinations and unstable trade-offs between completeness and conciseness, particularly in safety- and compliance-critical settings. Objectives: To evaluate extraction as a hallucination-resistant alternative to rewriting-based RAG and compare strategies that balance precision, recall and safety across document types and model scales. Methods: We compare multiple prompting strategies, including line-number-based source selection, extraction of relevant guideline sentences with explicit safety annotations, and a multi-stage pipeline that refines draft answers using supporting evidence from source guidelines. Experiments are conducted on documents of varying length and structure, including local NHS acute care and oncology guidelines and UK-wide NICE guidelines, using both frontier-scale and locally deployable models. Performance is assessed using automatic metrics and human expert evaluation of relevance and completeness. Results: Line-number selection achieves the strongest results, outperforming direct copying and safety-focused strategies across both large and small models while maintaining high term recall (up to 95%) and close alignment with source text. Safety-oriented approaches improve precision but introduce systematic omissions, while multi-stage filtering further amplifies this trade-off. Performance varies with document structure: line-based extraction excels in protocol-like content, whereas alternative strategies perform better on more verbose documents (up to 97% term recall).