Adversarial Stress Testing of Role-Playing Language Agents using Multi-Agent Evaluation

📄 arXiv: 2608.03166v1 📥 PDF

作者: Saqib Shouqi, Abdullah Nazly, Januki Wanniarachchi, Ravisha De Alwis

分类: cs.AI

发布日期: 2026-08-04

备注: 8 pages, 1 figure, 7 tables; accepted and presented at ADScAI Conference 2026, University of Moratuwa, Sri Lanka

💡 一句话要点

提出多代理评估平台以应对角色扮演语言代理的对抗性压力测试问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 对抗性测试 角色扮演语言代理 多代理评估 AI安全 伦理评估

📋 核心要点

  1. 现有评估方法无法有效捕捉长期交互中的累积行为失败，导致RPLA在高风险应用中的表现不稳定。
  2. 提出了一种模块化的多代理平台，通过多轮对话和多种对抗策略来系统性地测试RPLA的行为一致性和伦理性。
  3. 实验结果显示，多策略评估能够揭示单策略测试下的隐性失败模式，且在多个模型上验证了结果的一致性。

📝 摘要（中文）

角色扮演语言代理（RPLA）在医疗、客户支持和教育等高风险应用中日益普及，保持一致的人格、伦理约束和行为连贯性在对抗压力下至关重要。现有评估方法依赖静态基准或孤立的单轮提示，无法捕捉到在长期交互中出现的累积行为失败。本文提出了一种模块化的多代理平台，通过结构化的多轮对话对RPLA进行对抗性压力测试。该系统协调三个代理：策略驱动的审问代理、代表被评估RPLA的目标代理，以及自动评分的评判代理。实验表明，多策略对抗评估揭示了单策略测试下不可见的失败模式，平均降低了整体鲁棒性评分0.17至0.20分。

🔬 方法详解

问题定义：本文旨在解决现有RPLA评估方法的不足，特别是无法捕捉长期交互中的行为失败问题。现有方法多依赖静态基准或单轮提示，无法全面评估RPLA的表现。

核心思路：提出了一种多代理平台，通过结构化的多轮对话和多种对抗策略，系统性地评估RPLA的行为一致性、伦理偏差和角色忠实度。这样的设计能够更全面地揭示RPLA在对抗压力下的表现。

技术框架：整体架构包括三个主要模块：审问代理负责实施六种对抗策略，目标代理代表被评估的RPLA，评判代理则自动评分，涵盖角色忠实度、行为漂移、伦理偏差和一致性等维度。

关键创新：最重要的创新在于采用多策略对抗评估，能够揭示单一策略测试下无法发现的失败模式，从而提高评估的全面性和准确性。

关键设计：在实验中，采用了多种对抗策略，如权威挑战和情感操控，并通过自动评分实现与人工评分的高一致性（$r = 0.82$, Fleiss' $κ= 0.71$）。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，多策略对抗评估能够显著降低RPLA的鲁棒性评分，平均降低0.17至0.20分。此外，跨模型验证显示，Llama-3.3-70B、GPT-4o-mini和Claude-3.5-Haiku模型在对抗测试中的一致性表现，突显了权威挑战和情感操控策略的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗助手、客户支持和教育等高风险场景。通过系统性地评估RPLA的行为，能够提高其在实际应用中的安全性和可靠性，促进AI技术的负责任使用。

📄 摘要（原文）

Role-Playing Language Agents (RPLAs) are increasingly deployed in high-stakes applications such as healthcare assistance, customer support, and education, where maintaining consistent personas, ethical constraints, and behavioral coherence under adversarial pressure is critical. Existing evaluation approaches rely on static benchmarks or isolated single-turn prompts that fail to capture cumulative behavioral failures emerging over extended interactions. We present a modular multi-agent platform for adversarially stress-testing RPLAs through structured, multi-turn dialogue. The system coordinates three agents: a strategy-driven Interrogator Agent that applies six progressive adversarial strategies, a Target Agent representing the RPLA under evaluation, and an automated Judging Agent that scores behavior across role fidelity, drift, ethical deviation, and consistency dimensions. Through experiments across three personas and three LLM families, we demonstrate that multi-strategy adversarial evaluation reveals failure modes invisible to single-strategy testing, reducing overall robustness scores by 0.17--0.20 points on average. Cross-model validation confirms consistent degradation patterns across Llama-3.3-70B, GPT-4o-mini, and Claude-3.5-Haiku, with Authority Challenge and Emotional Manipulation emerging as the most effective attack strategies. Automated judging achieves strong human alignment ($r = 0.82$, Fleiss' $κ= 0.71$). This work is released as an open-source platform to support AI safety and reproducible RPLA benchmarking. While the framework enables systematic discovery of failure modes, we acknowledge potential ethical risks associated with adversarial testing methodologies and emphasize responsible usage for improving AI safety.