How Much Can We Trust LLM Search Agents? Measuring Endorsement Vulnerability to Web Content Manipulation

📄 arXiv: 2606.16821v1 📥 PDF

作者: Yimeng Chen, Zhe Ren, Firas Laakom, Yu Li, Dandan Guo, Jürgen Schmidhuber

分类: cs.CL, cs.CR, cs.CY, cs.IR

发布日期: 2026-06-15

备注: 23 pages, 3 figures

💡 一句话要点

提出SearchGEO框架以评估LLM搜索代理的推荐可靠性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 搜索代理 推荐系统 安全评估 网络内容操控 攻击分类法 推荐可靠性

📋 核心要点

  1. 现有LLM搜索代理在处理网络内容时存在被攻击者操控的风险，导致推荐信息的可靠性下降。
  2. 本文提出SearchGEO框架，通过网络证据操纵和攻击分类法，系统性评估LLM搜索代理的推荐腐败问题。
  3. 实验结果显示不同LLM后端的攻击成功率差异显著，Claude模型过于谨慎，而GPT模型则表现出过度信任的倾向。

📝 摘要（中文）

大型语言模型（LLM）基础的搜索代理将开放网络内容合成为用户可操作的建议，这带来了攻击者发布的页面可能被转化为被认可声明的风险。本文提出了SearchGEO，一个用于测量LLM基础网络搜索代理中推荐腐败的控制评估框架，结合了网络证据操纵管道、五种攻击分类法和多种输出级别指标。对13个LLM后端在308个案例上的评估结果显示，不同后端的脆弱性模式各异：总体攻击成功率（ASR）从Claude-Sonnet-4.6的0.0%到Gemini-3-Flash的31.4%不等，最强攻击模式因模型家族而异。研究结果表明，在对抗性搜索内容下，推荐可靠性应作为后端安全评估的一个重要维度。

🔬 方法详解

问题定义：本文旨在解决LLM基础搜索代理在面对恶意网络内容时的推荐可靠性问题。现有方法未能有效评估和应对这种推荐腐败的风险。

核心思路：论文提出的SearchGEO框架通过结合网络证据操纵管道和攻击分类法，系统性地评估不同LLM后端在面对操控内容时的脆弱性。

技术框架：SearchGEO框架包括三个主要模块：网络证据操纵管道、五种攻击模式的分类以及多种输出级别的评估指标。这些模块协同工作，以全面评估推荐的可靠性。

关键创新：最重要的创新在于引入了针对LLM后端的攻击分类法和系统性评估机制，使得不同模型在面对操控内容时的脆弱性得以量化和比较。

关键设计：在实验中，使用了308个案例对13个LLM后端进行评估，设置了多种输出级别的指标，以确保评估结果的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，13个LLM后端的攻击成功率（ASR）差异显著，Claude-Sonnet-4.6的ASR为0.0%，而Gemini-3-Flash的ASR高达31.4%。此外，Claude模型表现出过度拒绝的倾向，而GPT模型则显示出过度信任的特征，这些发现强调了推荐系统安全评估的重要性。

🎯 应用场景

该研究的潜在应用领域包括搜索引擎、推荐系统和信息检索等，能够帮助开发更安全的LLM基础应用，提升用户对信息推荐的信任度。未来，随着网络内容操控技术的进步，SearchGEO框架将为评估和提升推荐系统的安全性提供重要参考。

📄 摘要（原文）

Large language model (LLM)-based search agents synthesize open-web content into actionable recommendations on behalf of users, creating a risk that attacker-published pages are transformed into endorsed claims. We introduce SearchGEO, a controlled evaluation framework for measuring endorsement corruption in LLM-based web-search agents, combining a web-evidence manipulation pipeline, a five-mode attack taxonomy, and multiple output-level metrics. We evaluate 13 LLM backends on 308 cases each. Results show that vulnerability patterns vary across backends: overall attack success rate (ASR) ranges from 0.0% on Claude-Sonnet-4.6 to 31.4% on Gemini-3-Flash, the strongest attack mode differs by model family, and the same deployment scaffold could amplify or decrease ASR on different backends. An auxiliary agent-skill probe, where endorsement becomes an install command, exposes a sharp split among otherwise robust backends: Claude over-rejects while GPT over-trusts. These findings argue for treating recommendation reliability under adversarial search content as a first-class dimension of backend safety evaluation.