SafeLLM: Extraction as a Hallucination-Resistant Alternative to Rewriting in Safety-Critical Settings
作者: Julia Ive, Felix Jozsa, Evridiki Georgaki, Nabeel Sheikh, Emma Cattell, Nick Jackson, Paulina Bondaronek, Ciaran Scott Hill, Richard Dobson
分类: cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出SafeLLM以解决安全关键环境中的重写问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 信息提取 安全关键环境 幻觉问题 检索增强生成 多阶段管道 文档分析
📋 核心要点
- 现有的重写方法在安全和合规关键环境中容易引入幻觉，导致信息不准确。
- 论文提出通过提取作为抗幻觉的替代方案，采用多种提示策略来优化信息提取过程。
- 实验结果显示，基于行号的选择在不同模型中表现最佳，精度和召回率均有显著提升。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地用于访问组织文档，如标准操作程序（SOPs）、人力资源政策和机构指南。然而，依赖自由形式重写的检索增强生成（RAG）系统可能引入幻觉，并在完整性与简洁性之间产生不稳定的权衡，尤其是在安全和合规关键的环境中。本文旨在评估提取作为一种抗幻觉的替代方案，并比较在不同文档类型和模型规模下平衡精度、召回率和安全性的策略。实验结果表明，基于行号的选择在大模型和小模型中均表现出色，保持了高达95%的术语召回率，并与源文本紧密对齐。
🔬 方法详解
问题定义：本文旨在解决安全关键环境中，现有重写方法引发的幻觉问题及其带来的信息不准确性。
核心思路：通过提取信息而非重写，提供一种更稳定的生成方式，减少幻觉的发生，并在不同文档类型中优化精度和召回率。
技术框架：整体架构包括多个阶段：首先进行行号选择，然后提取相关句子，并通过多阶段管道使用源指南的支持证据来精炼草稿答案。
关键创新：最重要的创新在于采用行号选择策略，该策略在保持高召回率的同时，显著减少了信息的遗漏，与传统的重写方法相比具有本质区别。
关键设计：在参数设置上，采用了明确的安全注释来指导提取过程，设计了多阶段过滤机制以进一步优化答案的质量。实验中使用了不同长度和结构的文档，以评估方法的普适性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于行号的选择在大模型和小模型中均表现出色，精度和召回率均显著提升，最高可达95%的术语召回率。安全导向的方法虽然提高了精度，但引入了系统性遗漏，而多阶段过滤进一步加剧了这种权衡。
🎯 应用场景
该研究的潜在应用领域包括医疗、法律和其他需要高安全性和合规性的行业。通过提供更准确的信息提取方式，SafeLLM能够帮助组织在关键决策中减少错误，提高合规性，增强安全性，未来可能对行业标准产生深远影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly used to access organisational documentation, including standard operating procedures (SOPs), HR policies and institutional guidelines. However, retrieval-augmented generation (RAG) systems that rely on free-form rewriting can introduce hallucinations and unstable trade-offs between completeness and conciseness, particularly in safety- and compliance-critical settings. Objectives: To evaluate extraction as a hallucination-resistant alternative to rewriting-based RAG and compare strategies that balance precision, recall and safety across document types and model scales. Methods: We compare multiple prompting strategies, including line-number-based source selection, extraction of relevant guideline sentences with explicit safety annotations, and a multi-stage pipeline that refines draft answers using supporting evidence from source guidelines. Experiments are conducted on documents of varying length and structure, including local NHS acute care and oncology guidelines and UK-wide NICE guidelines, using both frontier-scale and locally deployable models. Performance is assessed using automatic metrics and human expert evaluation of relevance and completeness. Results: Line-number selection achieves the strongest results, outperforming direct copying and safety-focused strategies across both large and small models while maintaining high term recall (up to 95%) and close alignment with source text. Safety-oriented approaches improve precision but introduce systematic omissions, while multi-stage filtering further amplifies this trade-off. Performance varies with document structure: line-based extraction excels in protocol-like content, whereas alternative strategies perform better on more verbose documents (up to 97% term recall).