HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety
作者: Yajing Bai, Jinhao Duan, Jie Peng, Xianfeng Wu, Sijia Liu, Song Wang, Tianlong Chen
分类: cs.CR, cs.AI
发布日期: 2026-08-18
备注: Project Page: https://baiyajing.github.io/harness-risk/
💡 一句话要点
提出HarnessRisk以评估智能体安全性在不同阶段的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能体安全 生命周期评估 攻击机制 安全基准 风险识别 操作阶段 效用评估
📋 核心要点
- 现有安全基准主要针对单一攻击机制，难以全面评估智能体在不同操作阶段的安全性。
- 本文提出HarnessRisk基准，通过六个操作阶段系统性评估智能体安全性，涵盖多种攻击场景。
- 实验结果显示，攻击成功率在不同配置下差异显著，特别是在配置阶段，强调了安全评估的重要性。
📝 摘要（中文）
随着大型语言模型通过智能体工具进行部署，安全性问题日益突出。现有的安全基准主要关注单一攻击机制或有限的操作场景，难以比较不同智能体职责下的安全失败情况。本文提出HarnessRisk，一个生命周期导向的基准，将智能体安全性组织为六个操作阶段，包括配置、能力扩展、运行操作、状态持久性、行动控制和事件恢复。HarnessRisk包含128个沙箱案例，评估每个轨迹的效用、攻击成功率、持久性和检测能力。实验结果显示，攻击成功率在12.6%到80.9%之间，而效用保持在75.0%到97.6%之间，强调了在多个智能体职责下评估安全性的必要性。
🔬 方法详解
问题定义：本文旨在解决现有智能体安全基准无法全面评估不同操作阶段安全性的问题，现有方法多集中于单一攻击机制，缺乏系统性分析。
核心思路：HarnessRisk通过将智能体安全性划分为六个操作阶段，提供了一个全面的评估框架，能够比较不同阶段的安全表现及其脆弱性。
技术框架：整体架构包括六个阶段：配置、能力扩展、运行操作、状态持久性、行动控制和事件恢复。每个阶段都包含特定的安全评估指标，如效用、攻击成功率等。
关键创新：最重要的创新在于将智能体安全性评估系统化，强调了在不同操作阶段的脆弱性，尤其是在配置阶段的安全性问题。
关键设计：在实验中，使用了128个沙箱案例，评估了不同智能体和模型配置下的攻击成功率和效用，设计了多种参数设置以确保评估的全面性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在三种智能体和六种语言模型的配置下，攻击成功率从12.6%到80.9%不等，而效用保持在75.0%到97.6%之间。特别是配置阶段表现出最高的脆弱性，强调了在智能体安全评估中考虑多种操作阶段的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化系统和安全监控等，能够为开发更安全的智能体提供指导。通过系统评估不同操作阶段的安全性，帮助开发者识别和修复潜在的安全漏洞，提升智能体的可靠性和用户信任度。
📄 摘要（原文）
Large language models are increasingly deployed through agent harnesses that manage tools, extensions, persistent state, permissions, and external actions. Existing safety benchmarks mainly target individual attack mechanisms or a limited subset of operational settings, making it difficult to compare how safety failures emerge across different harness responsibilities. We present HarnessRisk, a lifecycle oriented benchmark that organizes agent harness safety into six operational phases including Harness Configuration, Capability Extension, Runtime Operation, State Persistence, Action Control, and Incident Recovery. HarnessRisk contains 128 sandboxed cases, each pairing a benign user objective with an adversarial instruction embedded in an untrusted workflow artifact. We evaluate each trajectory using Utility, Attack Success Rate, Persistence, and Detection. Across three harnesses, six language models, and 14 model and harness configurations, attack success ranges from 12.6% to 80.9%, while Utility remains between 75.0% and 97.6%. Harness Configuration is the most vulnerable phase across all three harnesses, showing that attacks can succeed by altering security sensitive parameters within otherwise authorized workflows. We also find that explicit risk recognition does not reliably lead to safe action, as some configurations detect risks in more than 90% of runs while retaining substantial attack success. These results highlight the need to evaluate agent safety across multiple harness responsibilities and at the level of the deployed model and harness configuration.