Evaluating Robustness of Generative Search Engine on Adversarial Factual Questions
作者: Xuming Hu, Xiaochuan Li, Junzhe Chen, Yinghui Li, Yangning Li, Xiaoguang Li, Yasheng Wang, Qun Liu, Lijie Wen, Philip S. Yu, Zhijiang Guo
分类: cs.CL, cs.AI, cs.IR
发布日期: 2024-02-25
备注: 21 pages, 7 figures, 4 tables
💡 一句话要点
评估生成搜索引擎在对抗性事实问题上的鲁棒性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成搜索引擎 对抗性攻击 鲁棒性评估 信息检索 安全性分析
📋 核心要点
- 现有的生成搜索引擎在面对对抗性问题时，生成的响应准确性不足，存在安全隐患。
- 论文提出在高风险环境中评估生成搜索引擎的鲁棒性，重点关注对手如何利用黑箱访问欺骗模型。
- 通过对多种生成搜索引擎的评估，发现检索增强生成比传统LLMs更易受到事实错误的影响。
📝 摘要（中文）
生成搜索引擎有潜力改变人们在线获取信息的方式，但现有的大型语言模型（LLMs）支持的生成搜索引擎生成的响应并不总是准确的。检索增强生成加剧了安全隐患，因为对手可能通过微妙的操控来规避整个系统。为此，本文提出在现实高风险环境中评估生成搜索引擎的鲁棒性，特别是在对手仅能黑箱访问系统的情况下，试图欺骗模型返回错误响应。通过对Bing Chat、PerplexityAI和YouChat等多种生成搜索引擎进行全面的人类评估，展示了对抗性事实问题在诱导错误响应方面的有效性。检索增强生成比没有检索的LLMs更容易出现事实错误，这些发现突显了系统的潜在安全风险，并强调了在部署前进行严格评估的必要性。
🔬 方法详解
问题定义：本文旨在解决生成搜索引擎在对抗性事实问题上的鲁棒性不足，现有方法在面对恶意操控时容易产生错误响应，存在安全隐患。
核心思路：通过评估生成搜索引擎在高风险环境中的表现，特别是在对手仅能黑箱访问的情况下，探讨如何识别和应对对抗性问题。
技术框架：研究采用全面的人类评估方法，分析Bing Chat、PerplexityAI和YouChat等生成搜索引擎在多种查询下的表现，重点关注对抗性事实问题的影响。
关键创新：论文的创新点在于系统性地评估生成搜索引擎的鲁棒性，揭示了检索增强生成在安全性方面的脆弱性，与传统LLMs的表现形成鲜明对比。
关键设计：研究设计了多种对抗性事实问题，评估生成搜索引擎的响应准确性，关注检索增强生成的特定参数设置和模型结构对结果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，检索增强生成的生成搜索引擎在面对对抗性事实问题时，错误响应的发生率显著高于没有检索的LLMs。具体而言，某些生成搜索引擎在特定查询下的错误率达到了30%以上，突显了安全性评估的重要性。
🎯 应用场景
该研究的潜在应用领域包括信息检索、安全防护和自然语言处理等。通过提高生成搜索引擎的鲁棒性，可以增强用户在获取信息时的安全性和准确性，减少对抗性攻击的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Generative search engines have the potential to transform how people seek information online, but generated responses from existing large language models (LLMs)-backed generative search engines may not always be accurate. Nonetheless, retrieval-augmented generation exacerbates safety concerns, since adversaries may successfully evade the entire system by subtly manipulating the most vulnerable part of a claim. To this end, we propose evaluating the robustness of generative search engines in the realistic and high-risk setting, where adversaries have only black-box system access and seek to deceive the model into returning incorrect responses. Through a comprehensive human evaluation of various generative search engines, such as Bing Chat, PerplexityAI, and YouChat across diverse queries, we demonstrate the effectiveness of adversarial factual questions in inducing incorrect responses. Moreover, retrieval-augmented generation exhibits a higher susceptibility to factual errors compared to LLMs without retrieval. These findings highlight the potential security risks of these systems and emphasize the need for rigorous evaluation before deployment.