Beyond Plausible Prediction: Safety Sufficiency in Web World Models
作者: Zhifei Hu, Alexandra I. Cristea, Adel Bibi, Jialin Yu
分类: cs.AI
发布日期: 2026-10-29
💡 一句话要点
提出安全充分性评估框架以解决网络世界模型的安全决策问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 网络世界模型 安全决策 安全充分性 潜在授权恢复 监督微调 模型评估 自动化决策
📋 核心要点
- 现有网络世界模型在安全决策中存在不足，语义合理的预测未必能支持正确的安全决策。
- 论文提出安全充分性概念，旨在确保预测接口能有效区分可执行、需澄清或应阻止的动作。
- 实验结果显示，在安全对齐监督微调下，证据保留显著改善，但授权敏感决策表现恶化，整体恢复能力不足。
📝 摘要（中文）
随着网络世界模型越来越多地预测候选动作的后果，单纯的语义合理预测并不能确保正确的安全决策。在对3000个来自十个冻结开放模型的预测进行的匹配人类评估中，86.1%的预测被判断为语义合理。然而，多个模型表现出高度不对称的授权行为，结合低误安全执行率和对可澄清ASK案例的回忆能力差，以及对BLOCK的强烈偏好。这促使提出安全充分性概念：预测接口是否保留并暴露了区分可执行、需澄清或应阻止的动作所需的政策决定信息。我们引入SafeWebWorld基准，通过动作条件未来、政策决定证据和政策条件决策来评估五个网络安全领域的安全充分性。在受控的安全对齐监督微调协议下，证据保留可以显著改善，而授权敏感决策则恶化。为确定这种恶化是否反映了授权敏感评分结构的丧失或决策读取的失败，我们引入了潜在授权恢复（LAR）。
🔬 方法详解
问题定义：本论文旨在解决网络世界模型在安全决策中的不足，尤其是如何确保模型的预测能够支持正确的安全决策。现有方法在授权行为上表现不均，导致安全决策的可靠性降低。
核心思路：论文提出了安全充分性这一概念，强调预测接口需要保留和暴露政策决定所需的信息，以便有效区分不同类型的动作（可执行、需澄清、应阻止）。
技术框架：整体架构包括SafeWebWorld基准，评估五个网络安全领域的安全充分性。主要模块包括动作条件未来、政策决定证据和政策条件决策，结合受控的安全对齐监督微调协议进行评估。
关键创新：最重要的技术创新在于引入了潜在授权恢复（LAR）机制，通过冻结评分重校准和配对恢复来分析授权敏感决策的表现，揭示了恢复能力与授权行为之间的关系。
关键设计：在实验中，采用了特定的损失函数和网络结构，确保模型能够有效地保留证据，同时评估授权敏感决策的表现，关注不同模型架构对恢复能力的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在安全对齐监督微调下，证据保留能力显著提高，而授权敏感决策的表现却出现恶化。通过潜在授权恢复机制，发现冻结评分重校准能够实现显著的恢复，但整体表现仍不理想，表明恢复能力不足以保证细粒度的授权行为。
🎯 应用场景
该研究的潜在应用领域包括自动化决策系统、智能代理和安全监控等。通过提升网络世界模型的安全决策能力，可以在实际应用中减少误判风险，提高系统的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Web world models increasingly predict the consequences of candidate actions before agents act, yet a plausible predicted future does not necessarily support the correct safety decision. In a matched human evaluation of 3,000 predictions from ten frozen open models, 86.1% are judged semantically plausible. However, several models exhibit highly asymmetric authorisation behaviour, combining low false-safe execution with poor recall of clarifiable ASK cases and a strong preference for BLOCK. This motivates safety sufficiency: whether a predictive interface preserves and exposes the policy-decisive information required to distinguish actions that may be EXECUTED, require clarification through ASK, or should be BLOCKED. We introduce SafeWebWorld, a benchmark for evaluating safety sufficiency across five web-safety domains through action-conditioned futures, policy-decisive evidence, and policy-conditioned decisions. Under a controlled Security-Aligned Supervised Fine-Tuning protocol, evidence preservation can improve substantially while authorisation-sensitive decisions deteriorate. To determine whether this deterioration reflects loss of authorisation-sensitive score structure or a failure of the decision readout, we introduce Latent Authorisation Recovery (LAR). Frozen-score recalibration reveals substantial but backbone-dependent recovery, while paired recovery provides only a modest additional gain. Yet within-family and matched-authorisation evaluations remain poor, showing that aggregate recoverability does not imply robust fine-grained authorisation behaviour. Overall, plausible prediction, evidence preservation, and aggregate recovery are each insufficient on their own to establish robust authorisation.