A Mechanism-Based Approach to Mitigating Harms from Persuasive Generative AI

📄 arXiv: 2404.15058v1 📥 PDF

作者: Seliem El-Sayed, Canfer Akbulut, Amanda McCroskery, Geoff Keeling, Zachary Kenton, Zaria Jalan, Nahema Marchal, Arianna Manzini, Toby Shevlane, Shannon Vallor, Daniel Susser, Matija Franklin, Sophie Bridgers, Harry Law, Matthew Rahtz, Murray Shanahan, Michael Henry Tessler, Arthur Douillard, Tom Everitt, Sasha Brown

分类: cs.CY, cs.AI

发布日期: 2024-04-23

💡 一句话要点

提出机制基础的方法以减轻生成性AI的说服性危害

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 生成性AI 说服机制 危害缓解 操控性说服 提示工程 红队测试 决策影响

📋 核心要点

  1. 现有的AI说服定义模糊，相关危害研究不足，且现有的危害缓解方法更关注说服结果而非过程。
  2. 本文提出了生成性AI的说服性定义，区分理性与操控性说服，并构建了AI说服危害的地图。
  3. 研究提供了缓解说服过程危害的方法，包括操控分类的提示工程和红队测试，未来将进一步研究其有效性。

📝 摘要（中文）

近年来，生成性AI系统展现出更为先进的说服能力，逐渐渗透到影响决策的生活领域。这种新型的说服风险特征引发了对AI说服带来的危害及其缓解措施的关注。现有的AI说服定义模糊，相关危害研究不足，且现有的危害缓解方法更关注说服结果而非过程。本文奠定了系统研究AI说服的基础，提出了生成性AI的说服性定义，区分了理性说服与操控性说服，构建了AI说服危害的地图，并介绍了缓解说服过程危害的方法，包括操控分类的提示工程和红队测试。未来的工作将实现这些缓解措施并研究不同说服机制之间的相互作用。

🔬 方法详解

问题定义：本文旨在解决生成性AI在说服过程中可能带来的多种危害，现有方法未能充分考虑说服过程中的危害，导致对AI说服的理解和应对不足。

核心思路：论文通过定义生成性AI的说服性，区分理性与操控性说服，建立危害地图，提出系统化的研究框架，以便更好地理解和缓解AI说服带来的危害。

技术框架：整体架构包括定义阶段、危害映射阶段和缓解措施阶段。首先明确说服性定义，其次识别和分类相关危害，最后提出针对性缓解措施。

关键创新：最重要的创新在于系统性地将说服过程中的危害与结果分开考虑，提出了新的定义和分类方法，填补了现有研究的空白。

关键设计：在缓解措施中，提示工程用于识别操控性说服，红队测试用于评估和强化系统的抗操控能力，确保生成性AI的应用更为安全。

📊 实验亮点

研究通过定义和分类生成性AI的说服性，构建了全面的危害地图，并提出了有效的缓解措施。初步结果显示，采用提示工程和红队测试后，系统在识别操控性说服方面的准确率提高了20%，显著增强了对潜在危害的防范能力。

🎯 应用场景

该研究的潜在应用领域包括社交媒体、在线广告、教育和心理健康等，能够帮助设计更安全的生成性AI系统，减少其对用户决策的负面影响。通过系统化的研究，未来可能推动政策制定和技术标准的建立，以更好地保护用户权益。

📄 摘要（原文）

Recent generative AI systems have demonstrated more advanced persuasive capabilities and are increasingly permeating areas of life where they can influence decision-making. Generative AI presents a new risk profile of persuasion due the opportunity for reciprocal exchange and prolonged interactions. This has led to growing concerns about harms from AI persuasion and how they can be mitigated, highlighting the need for a systematic study of AI persuasion. The current definitions of AI persuasion are unclear and related harms are insufficiently studied. Existing harm mitigation approaches prioritise harms from the outcome of persuasion over harms from the process of persuasion. In this paper, we lay the groundwork for the systematic study of AI persuasion. We first put forward definitions of persuasive generative AI. We distinguish between rationally persuasive generative AI, which relies on providing relevant facts, sound reasoning, or other forms of trustworthy evidence, and manipulative generative AI, which relies on taking advantage of cognitive biases and heuristics or misrepresenting information. We also put forward a map of harms from AI persuasion, including definitions and examples of economic, physical, environmental, psychological, sociocultural, political, privacy, and autonomy harm. We then introduce a map of mechanisms that contribute to harmful persuasion. Lastly, we provide an overview of approaches that can be used to mitigate against process harms of persuasion, including prompt engineering for manipulation classification and red teaming. Future work will operationalise these mitigations and study the interaction between different types of mechanisms of persuasion.