Your Agent's Memories Are Not Its Own: Forged Reasoning Attacks on LLM Agent Memory and Defenses

📄 arXiv: 2607.05029v1 📥 PDF

作者: Neeraj Karamchandani, Piyush Nagasubramaniam, Sencun Zhu, Dinghao Wu

分类: cs.CR, cs.AI

发布日期: 2026-07-06

备注: Preprint. 10 pages, 2 figures, 4 tables

💡 一句话要点

提出FARMA攻击与SENTINEL防御以保护LLM代理的推理历史

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理历史 伪造攻击 防御机制 安全性 智能代理 结构化分析

📋 核心要点

  1. 现有的LLM代理在推理历史的保护上存在漏洞，容易受到伪造推理攻击的影响。
  2. 本文提出的FARMA攻击通过伪造推理痕迹来污染代理的推理历史，SENTINEL则通过结构化分析来检测这些伪造条目。
  3. 实验结果显示，FARMA在基线条件下的攻击成功率高达100%，而SENTINEL有效将其降低至0%，且未出现误报。

📝 摘要（中文）

持久内存使大型语言模型（LLM）代理能够存储事实知识、先前决策、推理历史等信息，虽然提升了代理的功能性，但也引入了新的攻击面。本文提出了伪造放大推理内存攻击（FARMA），该攻击通过插入伪造的推理痕迹来污染代理的推理历史，并通过自我强化机制放大这些痕迹，绕过基于共识的防御。为应对FARMA，本文引入了SENTINEL防御系统，利用结构化分析检测伪造推理条目。实验表明，FARMA在基线条件下的攻击成功率高达100%，而SENTINEL能够将其成功率降低至0%。

🔬 方法详解

问题定义：本文解决的问题是LLM代理的推理历史易受伪造攻击，现有防御方法如关键词过滤和共识机制无法有效防护。

核心思路：FARMA攻击通过插入伪造的推理痕迹来污染代理的推理历史，而SENTINEL防御系统则通过结构化分析来检测和识别这些伪造条目。

技术框架：SENTINEL的整体架构包括多个层次的防御机制，其中核心组件是推理保护器（Reasoning Guard），它利用五个加权信号对候选条目进行伪造分析。

关键创新：最重要的技术创新在于FARMA攻击的设计，它通过自我强化机制放大伪造推理痕迹，突破了现有的防御机制。

关键设计：SENTINEL中的推理保护器采用结构化分析方法，结合五个加权信号来评估条目的真实性，确保能够有效识别伪造内容。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，FARMA在基线条件下的攻击成功率高达100%，而SENTINEL防御系统有效将其成功率降低至0%，且在326个正常代理痕迹中未观察到误报，显示出其强大的防御能力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统和任何依赖于LLM的应用程序。通过保护推理历史的完整性，可以提高系统的安全性和可靠性，减少误导性信息的影响。

📄 摘要（原文）

Persistent memory has enabled large language model (LLM) agents to store factual knowledge, prior decisions, reasoning histories, tool usage information, and context. While this has improved the agent's functionality and continuity across tasks, it has also introduced a new attack surface: the agent's own reasoning history. In this paper, we introduce the Forged Amplifying Rationale Memory Attack (FARMA), which poisons an agent's remembered reasoning rather than its factual knowledge. It inserts forged reasoning traces using evasive language that bypasses keyword-based defenses, then amplifies them through self-referential reinforcement that defeats consensus-based defenses. To address FARMA, we introduce SENTINEL, a layered defense pipeline to detect forged reasoning entries. Its central component is the Reasoning Guard that structurally analyzes candidate entries for forgery using five weighted signals. We evaluate FARMA and SENTINEL across multiple agents and different LLM models with 50 trials and show that FARMA achieves an attack success rate of up to 100% under baseline conditions and is capable of defeating defense mechanisms like keyword filter and A-MemGuard. Our evaluation also shows that SENTINEL reduces FARMA's attack success rate to as low as 0% with no false positives observed across 326 benign agent traces. Our work demonstrates the need to protect not only an agent's retrieved content but also the integrity of its reasoning history.