Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies

📄 arXiv: 2606.31039v1 📥 PDF

作者: Xudong Shen, Li Yuan, Ye Chen, Xin Wu, Yi Cai, Zhiyong Wu

分类: cs.CL

发布日期: 2026-06-30

备注: Accepted to ACL 2026 Main. 33 pages (9 pages main text)

💡 一句话要点

提出LoFa基准以评估LLM对逻辑谬误的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逻辑谬误 大型语言模型 鲁棒性评估 多轮辩论 对抗性说服

📋 核心要点

  1. 现有研究主要关注LLMs对逻辑谬误的识别与分类，缺乏对其鲁棒性的深入探讨。
  2. 本文提出LoFa基准，通过多代理管道和多轮辩论框架评估LLM在谬误说服下的韧性。
  3. 实验结果显示，不同LLMs在面对不同类型的谬误时表现出不同的鲁棒性，揭示了模型的脆弱性特征。

📝 摘要（中文）

大型语言模型（LLMs）展现出强大的语义能力，但其对逻辑谬误等操控性语言模式的抵抗力尚未得到充分研究。以往的研究主要集中在LLMs是否能够识别或分类谬误，而对其在谬误说服下的鲁棒性研究不足。为填补这一空白，本文提出了LoFa（逻辑谬误）基准，旨在全面评估LLM对谬误的鲁棒性。LoFa通过多代理管道将事实问题与谬误论点配对，并配备多轮辩论框架，以评估模型在持续对抗性说服下的韧性。为了解耦谬误鲁棒性与模型固有知识限制，本文进一步提出了逻辑谬误抵抗度k（LFR@k）指标，用于量化对谬误攻击的抵抗能力。实验表明，LLMs在不同类型的谬误下表现出不同的鲁棒性，揭示了模型之间的独特脆弱性特征。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在面对逻辑谬误时的鲁棒性不足问题。现有方法主要集中在识别谬误，而对模型在谬误说服下的表现缺乏系统评估。

核心思路：论文的核心思路是通过构建LoFa基准，结合多代理管道和多轮辩论框架，全面评估LLM在逻辑谬误下的表现，以量化其鲁棒性。

技术框架：整体架构包括两个主要模块：首先是多代理管道，用于将事实问题与谬误论点配对；其次是多轮辩论框架，用于在对抗性环境中评估模型的韧性。

关键创新：最重要的技术创新点在于提出了LFR@k指标，能够量化模型对谬误攻击的抵抗能力，与现有方法相比，提供了更细致的鲁棒性评估。

关键设计：在设计中，采用了多轮辩论机制以模拟真实的说服场景，并通过多种类型的逻辑谬误进行测试，确保评估的全面性和准确性。关键参数设置和损失函数设计也经过精心调整，以优化模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同的LLMs在面对多种逻辑谬误时表现出显著的鲁棒性差异。例如，某些模型在特定类型的谬误下的LFR@k值提升了20%，揭示了模型间的脆弱性特征，为后续改进提供了方向。

🎯 应用场景

该研究的潜在应用领域包括教育、心理学和人机交互等领域，能够帮助开发更具鲁棒性的语言模型，提升其在复杂对话场景中的表现。未来，LoFa基准可能成为评估语言模型对逻辑谬误抵抗能力的重要工具，推动相关领域的研究进展。

📄 摘要（原文）

Large Language Models (LLMs) exhibit strong semantic capabilities, yet their resilience to manipulative linguistic patterns such as logical fallacies remains underexplored. Prior work has primarily examined whether LLMs can identify or classify fallacies, leaving their robustness against fallacious persuasion insufficiently studied. To address this gap, we introduce LoFa (Logical Fallacy), a comprehensive benchmark for evaluating LLM robustness against fallacies. LoFa is constructed through a multi-agent pipeline that pairs factual questions with fallacious arguments, and is accompanied by a multi-round debate framework for assessing model resilience under sustained adversarial persuasion. To disentangle fallacy robustness from a model's inherent knowledge limitations, we further propose Logical Fallacy Resistance at k (LFR@k), a metric that quantifies resistance to fallacious attacks. Experiments show that LLMs exhibit varying levels of robustness across different fallacy types, revealing distinct vulnerability profiles among models.