Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs

📄 arXiv: 2608.11624v1 📥 PDF

作者: Nimet Beyza Bozdag, Emre Can Acikgoz, Gokhan Tur, Dilek Hakkani-Tür

分类: cs.CL, cs.AI

发布日期: 2026-08-12

💡 一句话要点

提出对抗性说服框架以增强LLM的抗干扰能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性学习 强化学习 大型语言模型 说服策略 模型脆弱性 多代理系统 人机协作

📋 核心要点

  1. 现有的LLM在面对有针对性的说服时表现出脆弱性，容易被引导至错误结论。
  2. 论文提出了一种对抗性强化学习框架，训练说服者代理以优化说服策略并提高成功率。
  3. 实验结果显示，优化后的说服者在不同模型上的攻击成功率显著提升，尤其在Qwen-14B模型上达到83%。

📝 摘要（中文）

说服是自然语言交流的核心动态，影响大型语言模型（LLMs）如何更新信念、解决分歧和做出决策。随着LLMs越来越多地与人类及彼此进行辩论、建议和协作，抵抗有害说服成为可靠行为的核心要求。然而，我们的研究表明，这一要求远未得到满足：单个有针对性的说服论点足以使模型的准确性降至接近零，即使该论点在事实层面上是错误的。我们将这一威胁形式化为对抗性说服，并引入一种对抗性强化学习框架，训练说服者代理在单次交互中改变目标模型的回答。我们发现，通过试错优化说服策略，能够揭示静态提示所忽视的脆弱性，成功率从约24%提升至93%。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在面对有针对性说服时的脆弱性，现有方法未能有效抵御这种影响。

核心思路：通过对抗性强化学习训练说服者代理，使其能够在单次交互中有效改变目标模型的回答，从而提高模型的抗干扰能力。

技术框架：整体架构包括训练说服者代理、优化说服策略、评估攻击成功率等主要模块。训练过程中，代理通过试错学习不断调整策略以提高说服效果。

关键创新：最重要的创新在于通过对抗性强化学习优化说服策略，成功率显著提高，且这些策略能够迁移到未见过的模型上。

关键设计：在训练过程中，采用了特定的损失函数和参数设置，以确保说服者能够有效利用虚假的引用和权威证据来增强说服力。具体的网络结构和训练细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，优化后的说服者在训练时间内的成功率从约24%提升至93%。此外，针对不同模型的攻击成功率分别为Qwen-14B的83%、Llama-3.1-8B的79%和GPT-4o-mini的25%。通过逐步训练，GPT-4o-mini的攻击成功率进一步提升至38%。

🎯 应用场景

该研究的潜在应用领域包括多代理系统和人机决策系统，尤其是在需要高可靠性和安全性的场景中。通过增强LLM的抗干扰能力，可以提高其在实际应用中的可信度和有效性，减少错误决策的风险。

📄 摘要（原文）

Persuasion is a core dynamic of natural language communication, shaping how large language models (LLMs) update beliefs, resolve disagreements, and reach decisions. As LLMs increasingly debate, advise, and think collaboratively with humans and each other, resistance to harmful persuasion becomes a core requirement for reliable behavior. Yet we show that this requirement is far from met: a single targeted persuasive argument is enough to collapse model accuracy to near zero, even when the argument is factually false. We formalize this threat as adversarial persuasion and introduce an adversarial reinforcement learning framework that trains persuader agents to change a target model's answer in a single interaction. First, we show that optimizing persuasion strategies through trial and error exposes vulnerabilities that static prompting misses: RL-trained persuaders raise persuasion success from approximately 24% to over 93% against the training-time persuadee. Second, we find that these learned strategies transfer to unseen models, achieving 83% attack success on Qwen-14B, 79% on Llama-3.1-8B, and 25% on GPT-4o-mini. Third, we demonstrate that a curriculum that bootstraps on more persuadable open-weight models before targeting harder models further increases GPT-4o-mini attack success from 25% to 38%. Moreover, our results reveal that optimized persuaders increasingly rely on credibility-based tactics, including fabricated citations and false authoritative evidence. Together, these findings expose a critical weakness in current LLM agents: even when they initially reason correctly, they can be steered toward false conclusions by optimized natural language influence. This positions persuasion robustness as a necessary safety criterion for multi-agent and human-AI decision-making systems.