Beyond Logical Forms: LLM-Extracted Patterns for Fallacy Classification

📄 arXiv: 2606.26698v1 📥 PDF

作者: Eleni Papadopulos, Firoj Alam, Giovanni Da San Martino

分类: cs.CL, cs.AI

发布日期: 2026-06-25

💡 一句话要点

提出基于LLM的模式提取方法以提升谬误分类效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逻辑谬误 大型语言模型 模式提取 自动分类 信息处理

📋 核心要点

  1. 逻辑谬误的复杂性使得现有的自动分类方法面临挑战，尤其是在细微形式的识别上。
  2. 本研究提出了一种新框架，通过大型语言模型提取谬误示例中的逻辑模式与语言线索的结合。
  3. 实验结果显示，该方法在零-shot和一-shot配置下均显著优于基线，验证了其有效性和泛化能力。

📝 摘要（中文）

在当今信息快速发展的时代，逻辑谬误作为推理中的缺陷模式，助长了信息混乱的增长。然而，谬误常以细微的形式出现，给自动分类带来了挑战。本研究探讨了将抽象逻辑结构与上下文语言线索相结合是否有助于谬误分类，开发了一个框架，通过大型语言模型（LLMs）从谬误示例及其解释中归纳提取这些模式。我们评估了这些模式在不同LLMs及零-shot和一-shot实验配置下的影响，显示出相较于零-shot基线的统计显著提升，并超越了竞争方法。跨数据集实验验证了模型的泛化能力，确立了数据驱动的模式提取作为生成逻辑表示的有效方法。

🔬 方法详解

问题定义：本研究旨在解决逻辑谬误的自动分类问题，现有方法在处理细微形式的谬误时效果不佳，导致分类准确率低下。

核心思路：论文提出通过大型语言模型（LLMs）归纳提取谬误示例中的抽象逻辑结构与上下文语言线索的结合，以提升分类效果。这样的设计旨在利用LLMs强大的语言理解能力，捕捉谬误的复杂性。

技术框架：整体架构包括数据收集、模式提取、模型训练和评估四个主要模块。首先，从谬误示例中提取逻辑模式，然后使用这些模式训练分类模型，最后进行性能评估。

关键创新：最重要的技术创新在于将抽象逻辑结构与上下文信息结合，形成了一种新的模式提取方法。这与传统的基于规则或简单特征的方法有本质区别，能够更好地捕捉谬误的复杂性。

关键设计：在模型设计中，使用了特定的损失函数来优化分类性能，并通过多轮训练调整模型参数，以确保提取的模式具有较高的准确性和泛化能力。

📊 实验亮点

实验结果表明，所提出的方法在零-shot和一-shot配置下均显著优于传统的零-shot基线，具体提升幅度达到统计显著性，验证了数据驱动模式提取的有效性。跨数据集的实验进一步证明了模型的泛化能力，显示出其在不同场景下的适用性。

🎯 应用场景

该研究的潜在应用领域包括教育、媒体监测和社交网络分析等。在这些领域，能够自动识别和分类逻辑谬误将有助于提高信息的准确性和可靠性，减少误导性信息的传播。未来，该方法还可能扩展到其他类型的文本分析任务中，提升自然语言处理的整体能力。

📄 摘要（原文）

In today's fast-paced information era, logical fallacies, defined as defective patterns of reasoning, inevitably contribute to the growth of information disorder. However, often fallacies appear in nuanced forms that complicate automated classification. In this study, we investigate whether merging abstract logical structures with context-level linguistic cues proves beneficial for fallacy classification, developing a framework that inductively extracts such patterns from fallacious examples and their explanations using Large Language Models (LLMs). We evaluate the impact of these patterns across different LLMs and experimental zero- and one-shot configurations, showing statistically significant improvements over zero-shot baselines and outperforming competing approaches. Cross-dataset experiments validate generalization, establishing data-driven pattern extraction as an effective method for generating logical representations.