Predictive Safety Guardrails Do Not Always Make LLM Agents Safer

📄 arXiv: 2611.02815v1 📥 PDF

作者: Weixiang Zhao, Zhihao Liu, Guancheng Li, Yanyan Zhao, Bing Qin, Ting Liu

分类: cs.AI

发布日期: 2026-11-02

💡 一句话要点

揭示预测安全护栏在LLM代理中存在的安全隐患

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全护栏 预测模型 决策过程 风险评估 世界模型 智能代理

📋 核心要点

  1. 现有的预测安全护栏在安全性提升上存在不确定性，尤其是在长时间预测的可靠性不足。
  2. 论文通过系统诊断预测到行动的流程，探讨如何将世界模型的预测有效整合到决策中。
  3. 实验结果显示，增强预测参与并未带来预期的安全收益，反而增加了推理成本和降低了任务完成率。

📝 摘要（中文）

随着大型语言模型代理在数字和物理环境中执行重要操作，安全风险可能在多次交互后显现。这促使了基于世界模型的预测安全护栏的提出，旨在在执行前预测未来后果。然而，现有评估主要集中在最终的安全结果上，未能明确安全收益是否源于可靠的预测和对预测风险的忠实使用。本文系统性地诊断了预测到行动的流程，发现更强的预测参与并不总能带来单调的安全收益，且可能降低任务完成率，同时显著增加推理成本。此外，世界模型的预测在较长时间范围内的可靠性不足，安全预测相较于短期预测显著下降。最后，即使在预测被破坏的情况下，安全收益仍然可以持续，表明预测内容并未被忠实地纳入决策过程。这些发现揭示了当前预测护栏中存在的根本性预测到行动的差距。

🔬 方法详解

问题定义：本文旨在解决现有预测安全护栏在安全性提升方面的不足，尤其是预测的可靠性和对预测风险的忠实使用问题。

核心思路：通过系统性地分析预测到行动的流程，评估世界模型的预测如何影响决策过程，强调预测的可靠性和有效性。

技术框架：研究分为三个主要模块：1) 预测模型的构建与评估；2) 决策过程中的预测整合；3) 安全性结果的评估与分析。

关键创新：论文的创新在于揭示了预测到行动之间的基本差距，强调仅仅提高预测的准确性并不足以确保安全决策。

关键设计：在实验中，采用了七种策略模型和两个安全环境，重点关注预测的可靠性和决策过程中的忠实应用，设置了多种参数以评估不同条件下的性能表现。

📊 实验亮点

实验结果表明，增强的预测参与并未带来单调的安全收益，反而在某些情况下降低了任务完成率，推理成本增加了显著的比例。这一发现挑战了现有的安全护栏设计理念，强调了预测的可靠性和有效整合的重要性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能机器人和人机交互等安全关键系统。通过改进预测安全护栏的设计，可以显著提升这些系统在复杂环境中的安全性和可靠性，减少潜在的安全风险。未来，该研究可能推动更智能的决策支持系统的发展。

📄 摘要（原文）

Large language model agents increasingly take consequential actions in digital and physical environments, where safety risks may emerge only after multiple interaction steps. This has motivated world-model-driven predictive safety guardrails, which anticipate future consequences before execution. However, existing evaluations largely focus on end-to-end safety outcomes, leaving unclear whether safety gains arise from reliable prediction and faithful use of predicted risks. In this work, we systematically diagnose the prediction-to-action pipeline along three dimensions: how world-model predictions are integrated into decision making, whether the predictions themselves are reliable, and whether their content is faithfully used. Across seven policy models and two safety environments, we find that stronger prediction involvement does not yield monotonic safety gains and can reduce task completion while substantially increasing inference cost. We further find that world-model predictions remain insufficiently reliable, especially over longer horizons, where safety prediction degrades substantially relative to near-term forecasting. Finally, we find that safety gains can persist even under corrupted predictions, while locally verified predictions still leave subsequent safety violations, showing that predictive content is not faithfully incorporated into the decision process. Together, these findings expose a fundamental prediction-to-action gap in current predictive guardrails: producing more or seemingly accurate foresight is insufficient unless that foresight is both reliable and faithfully translated into safer decisions.