DreamGuard: Efficient Runtime Guardrail for LLM Agents via Risk-Aware World Model

📄 arXiv: 2608.05695v1 📥 PDF

作者: Wenhao Lin, Chenyu Yu, Xingwei Lin, Sicong Cao, Xiang Chen, Lei Xue, Le Yu, Letian Sha, Chunming Wu

分类: cs.AI, cs.CL, cs.CR

发布日期: 2026-08-06

💡 一句话要点

提出DreamGuard以解决LLM代理的风险管理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 风险管理 主动保护 世界模型 安全性 实时决策 机器学习

📋 核心要点

  1. 现有的运行时保护措施主要是反应性的，缺乏对风险演变的明确建模，导致长时间风险的盲点。
  2. 本文提出DreamGuard，利用风险意识世界模型主动预测未来潜在状态，从而做出干预决策。
  3. 实验结果显示，DreamGuard在安全性和效用之间达成最佳平衡，且延迟时间仅为25毫秒。

📝 摘要（中文）

随着大型语言模型（LLM）代理越来越多地调用外部工具并与现实系统互动，潜在的安全行为可能对外部状态、用户数据和下游服务造成不可逆转的后果。近期的运行时保护措施通过在执行前检查提议的行为来减轻这些风险，但大多数仍然是反应性的，主要评估当前行为的表面安全性，缺乏对风险如何在轨迹中演变的明确模型。为此，本文提出了DreamGuard，一种基于风险意识世界模型的LLM代理主动保护措施。该世界模型在轨迹上维护一个紧凑的递归潜在状态，并预测未来的潜在状态，从中DreamGuard推导出即时危险和前缀风险证据。实验表明，DreamGuard在四个基准测试和在线保护评估中超越了通用、反应性和主动保护基线，达到了评估的保护措施中最佳的安全效用权衡，并保持每次调用的平均端到端延迟为25毫秒。

🔬 方法详解

问题定义：本文旨在解决LLM代理在与外部系统互动时可能导致的安全风险，现有方法多为反应性，无法有效预测长时间风险的演变。

核心思路：DreamGuard通过构建一个风险意识的世界模型，主动预测未来的潜在状态，从而在执行前做出更为安全的干预决策。

技术框架：整体架构包括一个递归潜在状态模型，该模型在轨迹上维护状态并预测未来状态，结合即时危险和前缀风险信号进行决策。

关键创新：DreamGuard的核心创新在于其主动性和风险意识，能够在执行前综合考虑多种风险信号，区别于传统的仅评估当前行为的反应性方法。

关键设计：模型设计中采用了递归神经网络结构，优化了潜在状态的表示，并通过特定的损失函数来平衡安全性与效用之间的权衡。实验中还调整了模型的参数设置，以提高预测的准确性和实时性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，DreamGuard在四个基准测试中表现优异，超越了多种反应性和主动保护基线，达到了最佳的安全效用权衡，且每次调用的平均延迟仅为25毫秒，展现出良好的实时性能。

🎯 应用场景

DreamGuard的研究成果在多个领域具有潜在应用价值，尤其是在自动化决策系统、智能助手和机器人等需要与现实世界互动的场景中。通过有效管理风险，该技术可以提升系统的安全性和可靠性，减少不良后果的发生，推动智能系统的广泛应用。

📄 摘要（原文）

As large language model (LLM) agents increasingly invoke external tools and interact with real-world systems, unsafe actions may cause irreversible consequences on external states, user data, and downstream services. Recent runtime guardrails mitigate such risks by checking proposed actions before execution, but many remain reactive: they primarily assess the apparent safety of the current action, lacking an explicit model of how risk evolves across the trajectory. This limitation creates a critical blind spot for long-horizon risks, where individually benign-looking actions can gradually drift the agent toward hazardous states. In response, we propose DreamGuard, a proactive guardrail for LLM agents built around a risk-aware world model. The world model maintains a compact recurrent latent state over the trajectory and predicts future latent states from which DreamGuard derives immediate-hazard and prefix-risk evidence. It then fuses these multi-horizon signals into intervention decisions before execution. Experiments across four benchmarks and an online guardrail evaluation show that DreamGuard outperforms generic, reactive, and proactive guardrail baselines, achieves the best safety-utility trade-off among evaluated guardrails, and maintains an average end-to-end latency of 25 ms per call.