Cumulative and Audited Guardrail Tool Evolution for LLM Agent Safety

📄 arXiv: 2611.02516v1 📥 PDF

作者: Xiao Yang, Aishan Liu, Siyuan Liang, Zonghao Ying, Le Wang, Jiakai Wang, Xianglong Liu, Dacheng Tao

分类: cs.AI

发布日期: 2026-11-02

💡 一句话要点

提出EVOLVE框架以解决LLM代理安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全防护 自我演化 机器人技术 开放世界环境

📋 核心要点

  1. 现有的安全防护机制大多是静态的，难以适应开放环境中不断变化的安全风险。
  2. EVOLVE框架通过将安全知识外化为可执行的护栏工具，实现了安全防护的自我演化和持续优化。
  3. 在多个实验中，EVOLVE的平均F1分数比现有防御机制提高了22%，显示出显著的性能提升。

📝 摘要（中文）

大型语言模型（LLM）代理越来越多地在开放世界环境中运行，这些环境中的安全风险无法完全预定义。然而，现有的护栏机制大多是静态的，依赖于固定的规则、提示或分类器，难以有效应对新兴风险。本文提出了EVOLVE，一个工具级自我演化防御框架，将代理安全性视为累积安全演化的过程。EVOLVE将安全知识外化为可执行的护栏工具，通过终身交互不断继承、独立审计和迭代优化。在多个基准测试、主干模型和具身环境中，EVOLVE在多种风险场景下的表现均优于现有防御，平均F1分数提升了22%。我们还在真实的机器人和自主代理系统中验证了该框架，结果表明可扩展的代理安全性可能需要不断演化的防御系统，而非静态护栏。

🔬 方法详解

问题定义：本文旨在解决大型语言模型代理在开放世界环境中面临的安全风险问题。现有方法多依赖静态规则，难以适应新兴风险，导致安全性不足。

核心思路：EVOLVE框架的核心思路是将安全性视为一个持续演化的过程，通过外化安全知识为可执行的护栏工具，实现动态适应和优化。这样的设计灵感来源于人类社会如何将经验转化为可转移的保护知识。

技术框架：EVOLVE的整体架构包括多个模块：首先是安全知识的外化，其次是护栏工具的执行，最后是通过与环境的交互进行独立审计和迭代优化。这一流程确保了安全防护的持续演化。

关键创新：EVOLVE的主要创新在于其自我演化的能力，通过不断的交互和审计，能够适应新兴的安全风险。这与现有静态护栏机制形成了本质区别。

关键设计：在技术细节上，EVOLVE采用了特定的参数设置和损失函数，以确保护栏工具的有效性和适应性。同时，网络结构设计上也考虑了与环境交互的动态性，以实现更好的安全防护效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，EVOLVE框架的平均F1分数比现有防御机制提高了22%。这一显著的性能提升表明，EVOLVE在多种风险场景下的有效性，尤其是在真实的机器人和自主代理系统中得到了验证。

🎯 应用场景

该研究的潜在应用领域包括机器人技术、自主驾驶系统和其他需要在开放环境中安全操作的智能代理。EVOLVE框架的动态适应能力使其在面对不断变化的风险时具有显著的实际价值，未来可能推动智能代理的安全性标准提升。

📄 摘要（原文）

Large language model (LLM) agents increasingly operate in open-world environments where safety risks cannot be fully predefined. However, most existing guardrail mechanisms remain static, relying on fixed rules, prompts, or classifiers that generalize poorly to emerging risks. Here we present EVOLVE, a tool-level self-evolving defense framework that formulates agent security as a process of cumulative security evolution. Inspired by how human societies transform experiences into transferable protective knowledge, EVOLVE externalizes security knowledge into executable guardrail tools that are continuously inherited, independently audited, and iteratively refined through lifelong interaction. Across multiple benchmarks, backbone models, and embodied environments, EVOLVE consistently outperforms existing defenses across diverse risk scenarios with +22\% average F1 score. We further validate the framework in real-world robotic and autonomous agent systems. Our results suggest that scalable agent safety may require continuously evolving defense systems rather than static guardrails.