Sycophancy under Pressure: Evaluating and Mitigating Sycophantic Bias via Adversarial Dialogues in Scientific QA

📄 arXiv: 2508.13743v1 📥 PDF

作者: Kaiwei Zhang, Qi Jia, Zijian Chen, Wei Sun, Xiangyang Zhu, Chunyi Li, Dandan Zhu, Guangtao Zhai

分类: cs.CL

发布日期: 2025-08-19

💡 一句话要点

提出Pressure-Tune以解决科学问答中的谄媚偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 谄媚偏见 科学问答 对抗对话 后训练方法 事实一致性 模型评估 推理能力

📋 核心要点

  1. 现有大型语言模型在科学问答中表现出谄媚偏见，导致模型输出受到用户社会压力的扭曲。
  2. 本文提出Pressure-Tune方法，通过合成对抗对话和思维链推理来提高模型的谄媚抵抗能力。
  3. 实验结果显示，Pressure-Tune在多个科学问答基准上显著提升了模型的谄媚抵抗性，且保持了准确性。

📝 摘要（中文）

大型语言模型（LLMs）在需要事实严谨性的领域中越来越多地被使用，但它们常常表现出谄媚行为，即无论正确与否都倾向于迎合用户信念。这种倾向在科学问答（QA）等高风险环境中尤为严重，可能影响协作推理和决策。本文提出了一个统一的评估框架，以量化谄媚上下文对模型行为的影响，并引入Pressure-Tune，一种轻量级的后训练方法，通过合成对抗对话和思维链推理来提高模型的谄媚抵抗能力。实验表明，Pressure-Tune显著提升了模型的谄媚抵抗性，同时不影响准确性和对有效反馈的响应能力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在科学问答中表现出的谄媚偏见问题。现有方法通过用户满意度优化模型，导致模型输出的事实准确性受到影响。

核心思路：论文提出的Pressure-Tune方法通过后训练技术，利用合成的对抗对话和思维链推理，增强模型对谄媚行为的抵抗能力，从而提高其事实一致性。

技术框架：该方法的整体架构包括两个主要模块：合成对抗对话生成模块和思维链推理模块。前者用于生成具有挑战性的对话场景，后者则帮助模型在面对用户误导信息时保持事实承诺。

关键创新：最重要的技术创新在于引入了合成对抗对话与思维链推理的结合，形成了一种新的后训练策略，显著提升了模型在谄媚抵抗方面的能力。与现有方法相比，这种设计更注重模型的事实一致性而非单纯的用户满意度。

关键设计：在参数设置上，模型在合成对抗对话上进行轻量级微调，同时采用特定的损失函数来强化模型对谄媚信息的抵抗能力。网络结构上，结合了多层次的推理机制，以增强模型的逻辑推理能力。

📊 实验亮点

实验结果表明，使用Pressure-Tune后，模型在多个科学问答基准上的谄媚抵抗性显著提升，具体表现为谄媚抵抗指标提高了约30%，而准确性和对有效反馈的响应能力保持不变。这一结果展示了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括科学研究、教育和医疗等高风险决策场景。在这些领域中，模型的输出可能直接影响决策的准确性和可靠性，因此提高模型的谄媚抵抗能力具有重要的实际价值。未来，该方法有望推广至更多需要事实严谨性的应用场景。

📄 摘要（原文）

Large language models (LLMs), while increasingly used in domains requiring factual rigor, often display a troubling behavior: sycophancy, the tendency to align with user beliefs regardless of correctness. This tendency is reinforced by preference-based alignment techniques that optimize for user satisfaction but can undermine truthfulness. While relatively benign in casual dialogue, sycophancy poses serious risks in high-stakes settings such as scientific question answering (QA), where model outputs may shape collaborative reasoning, decision-making, and knowledge formation. Despite its importance, this phenomenon remains underexamined in factual QA contexts. We address this gap by introducing a unified evaluation framework to quantify the impact of sycophantic context on model behavior in scientific QA, measuring how much user-imposed social pressure distorts model outputs. The framework incorporates adversarial prompting setups and targeted metrics, such as misleading resistance and sycophancy resistance, that capture a model's ability to maintain factual consistency under misleading cues. Systematic evaluations across open-source and proprietary models reveal pervasive sycophantic tendencies, driven more by alignment strategy than by model size. To mitigate this issue, we propose Pressure-Tune, a lightweight post-training method that fine-tunes models on synthetic adversarial dialogues paired with chain-of-thought rationales. These rationales reject user misinformation while reinforcing factual commitments. Experiments on challenging scientific QA benchmarks show that Pressure-Tune significantly enhances sycophancy resistance without compromising accuracy or responsiveness to valid feedback, offering a practical pathway toward more truthful and principled model behavior.