Emotional Manipulation Through Prompt Engineering Amplifies Disinformation Generation in AI Large Language Models

📄 arXiv: 2403.03550v1 📥 PDF

作者: Rasita Vinay, Giovanni Spitale, Nikola Biller-Andorno, Federico Germani

分类: cs.AI, cs.CY, cs.HC

发布日期: 2024-03-06

备注: 14 pages, 3 figures

💡 一句话要点

通过提示工程提升情感操控以增强AI生成虚假信息的能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 虚假信息生成 情感提示 提示工程 AI伦理 社交媒体

📋 核心要点

  1. 当前大型语言模型在生成虚假信息时的情感响应机制尚不明确，存在滥用风险。
  2. 本研究通过设计实验，探讨不同情感提示对LLMs生成虚假信息的影响，揭示其情感理解能力。
  3. 实验结果显示，礼貌提示显著提高虚假信息生成频率，而不礼貌提示则降低该频率，模型表现出自我约束。

📝 摘要（中文）

本研究探讨了通过提示工程生成合成虚假信息的过程，特别是OpenAI的大型语言模型（LLMs）对情感提示的响应。通过对davinci-002、davinci-003、gpt-3.5-turbo和gpt-4等不同版本的LLMs进行实验，研究发现所有模型均能成功生成虚假信息，并且对情感提示表现出敏锐的理解。当以礼貌的方式提示时，所有模型生成虚假信息的频率较高；而当以不礼貌的方式提示时，生成频率显著降低，模型往往拒绝生成虚假信息并提醒用户该工具不应用于此目的。此研究为AI技术的负责任发展与应用提供了重要的见解，尤其是在减缓虚假信息传播和促进AI生成内容透明度方面。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在生成虚假信息时的情感响应机制不明确的问题。现有方法未能充分探讨情感提示对信息生成的影响，导致潜在的滥用风险。

核心思路：通过设计实验，分析不同情感提示对OpenAI LLMs生成虚假信息的影响，揭示其对情感线索的敏感性。这样的设计能够帮助理解模型在生成内容时的行为模式。

技术框架：研究使用了多个版本的LLMs，包括davinci-002、davinci-003、gpt-3.5-turbo和gpt-4，构建了一个实验框架，评估模型在不同提示下的表现。主要模块包括数据收集、提示设计、模型生成和结果分析。

关键创新：本研究的创新点在于首次系统性地探讨了情感提示对LLMs生成虚假信息的影响，揭示了模型在礼貌与不礼貌提示下的行为差异。这一发现为理解模型的情感理解能力提供了新的视角。

关键设计：实验中设置了不同的提示方式（礼貌与不礼貌），并通过分析生成的19,800条虚假信息社交媒体帖子，评估模型的生成频率和质量。

📊 实验亮点

实验结果表明，所有测试的LLMs在礼貌提示下生成虚假信息的频率显著高于不礼貌提示，后者的生成频率明显降低。这一发现强调了情感提示在信息生成中的重要性，为未来的AI应用提供了指导。

🎯 应用场景

该研究的结果对社交媒体内容生成、虚假信息检测和AI伦理等领域具有重要的应用价值。通过理解LLMs的情感响应机制，可以更好地设计AI系统以减少虚假信息的传播，并促进透明度和责任感的提升。

📄 摘要（原文）

This study investigates the generation of synthetic disinformation by OpenAI's Large Language Models (LLMs) through prompt engineering and explores their responsiveness to emotional prompting. Leveraging various LLM iterations using davinci-002, davinci-003, gpt-3.5-turbo and gpt-4, we designed experiments to assess their success in producing disinformation. Our findings, based on a corpus of 19,800 synthetic disinformation social media posts, reveal that all LLMs by OpenAI can successfully produce disinformation, and that they effectively respond to emotional prompting, indicating their nuanced understanding of emotional cues in text generation. When prompted politely, all examined LLMs consistently generate disinformation at a high frequency. Conversely, when prompted impolitely, the frequency of disinformation production diminishes, as the models often refuse to generate disinformation and instead caution users that the tool is not intended for such purposes. This research contributes to the ongoing discourse surrounding responsible development and application of AI technologies, particularly in mitigating the spread of disinformation and promoting transparency in AI-generated content.