Curated retrieval versus open web search in public AI information services: a coverage-trust trade-off
作者: Hafsteinn Einarsson, Hafsteinn Birgir Einarsson, Jón Gunnar Ólafsson, Jón Gunnar Þorsteinsson
分类: cs.CY, cs.CL, cs.IR
发布日期: 2026-07-06
💡 一句话要点
探讨公共AI信息服务中的信息来源可信度与覆盖率的权衡
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 信息可信度 公共AI服务 网络搜索 策划语料库 专家评估 信息质量 公民参与
📋 核心要点
- 现有公共AI信息服务在信息来源的可信度与覆盖率之间存在显著的权衡，尤其是在使用网络搜索时。
- 论文通过对Evrópuvefur服务的专家评估，提出了比较策划语料库与开放网络搜索的有效性的方法。
- 实验结果表明，网络搜索的答案中有35%的引用来源被标记为不可信，而策划来源则主要因过时被质疑。
📝 摘要（中文）
公共机构越来越多地使用大型语言模型（LLMs）回答公民问题，通常将策划的知识库与实时网络搜索相结合。然而，关于这些答案背后来源的可信度却缺乏实证研究。本文报告了在冰岛为2026年8月29日的公投准备期间，对Evrópuvefur服务的专家评估。五位领域专家对449个AI生成的答案进行了551次评估，比较了策划的本地语料库与开放网络搜索的两种检索路径。结果显示，网络搜索的答案中超过三分之一的引用来源被标记为不可信或无关，而策划来源则较少被标记，仅因过时而受到质疑。尽管网络搜索回答了更多问题，但牺牲了来源质量，策划语料库则在可信度上表现良好但覆盖面有限。
🔬 方法详解
问题定义：本文旨在解决公共AI信息服务中信息来源的可信度问题，现有方法在使用开放网络搜索时常常牺牲信息质量。
核心思路：通过对比策划的本地语料库与开放网络搜索，评估不同信息来源的可信度和覆盖率，以提供更可靠的公民信息服务。
技术框架：研究采用了专家评估的方法，五位领域专家对AI生成的答案进行了评分，使用七项标准的质量评估体系，并对引用来源进行了标记。
关键创新：本研究首次系统性地评估了公共AI服务中信息来源的可信度，揭示了网络搜索与策划语料库之间的权衡关系。
关键设计：评估过程中采用了七项标准的质量评分体系，专家对每个答案的引用来源进行了独立标记，确保了评估的客观性和准确性。实验还探讨了提示的设计对引用来源的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在287个网络搜索答案中，35%的引用来源被标记为不可信或无关，而策划来源仅因过时被质疑。尽管网络搜索回答了更多问题，但其信息质量显著低于策划语料库，后者在可信度上表现良好但覆盖面有限。提示设计的实验表明，信任域列表的引入仅将引用率从12%提升至21%。
🎯 应用场景
该研究的潜在应用领域包括政府信息服务、公共咨询平台及其他需要高质量信息的公共服务系统。通过提高信息来源的可信度，可以增强公民对公共机构的信任，促进更有效的公民参与和决策。未来，该研究可能影响AI信息服务的设计和实施，推动透明度和信息质量的提升。
📄 摘要（原文）
Public institutions increasingly use large language models (LLMs) to answer citizens' questions, often pairing a curated knowledge base with live web search, yet whether the sources behind these answers can be trusted has received little empirical scrutiny. We report a pre-launch expert evaluation of Evrópuvefur, an independent, government-funded service run by the University of Iceland that answers questions about the European Union, conducted as Iceland prepared for its referendum of 29 August 2026 on whether to resume EU accession talks. Five domain experts produced 551 evaluations of 449 AI-generated answers, scoring each against a seven-criterion quality rubric and, separately, flagging individual cited sources. We compared two retrieval paths: a curated local corpus (RAG) and open web search. In more than a third of the reviewed web-search answers (35%, 65 of 187), at least one cited source was flagged, almost always as untrustworthy or irrelevant; curated sources were flagged far less often and only for being out of date. Web search answered more questions, but at the cost of source quality; the curated corpus was trustworthy yet limited in coverage, and the model declined to respond when it fell short. The citation mix also passed over strong sources: across all 287 web-search answers, the system never cited RÚV, the public broadcaster and the country's most widely used news source. A companion prompt ablation shows how weak prompt-level steering is: a trusted-domain list in the system prompt raised the share of citations to listed domains only from 12% to 21%. Fluency and topical fit did not predict source trustworthiness. We argue that source trustworthiness is a measurable yet largely invisible dimension of information quality in public AI services, and we discuss transparency-oriented responses and their trade-offs.