AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

📄 arXiv: 2603.04921v1 📥 PDF

作者: Panagiotis Alexios Spanakis, Maria Lymperaiou, Giorgos Filandrianos, Athanasios Voulodimos, Giorgos Stamou

分类: cs.CL

发布日期: 2026-03-05

💡 一句话要点

提出基于Agentic LLM的心理语言学标记提取与阴谋论认可检测方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agentic LLM 心理语言学 阴谋论检测 链式思考 反回音室

📋 核心要点

  1. 现有方法在心理语言学标记提取和阴谋论检测中，常将语义推理与结构定位混淆，导致性能瓶颈。
  2. 论文提出解耦设计，分别使用DD-CoT进行标记提取，以及“反回音室”架构进行阴谋论检测，提升模型性能。
  3. 实验结果表明，该方法在S1任务上F1提升100%，S2任务上F1提升49%，并在S1开发排行榜上排名第三。

📝 摘要（中文）

本文提出了一种新颖的基于Agentic LLM的流程，用于SemEval-2026 Task 10，该流程联合提取心理语言学阴谋论标记并检测阴谋论认可。与传统的将语义推理与结构定位混为一谈的分类器不同，我们的解耦设计隔离了这些挑战。对于标记提取，我们提出了具有确定性锚定的动态判别链式思考（DD-CoT），以解决语义模糊性和字符级脆弱性。对于阴谋论检测，一个“反回音室”架构，由一个对抗性的并行委员会和一个经过校准的法官组成，克服了“记者陷阱”，即模型错误地惩罚客观报告。在S1上实现了0.24的Macro F1（比基线提高100%），在S2上实现了0.79的Macro F1（提高49%），S1系统在开发排行榜上排名第三，我们的方法建立了一个通用的范例，用于可解释的、基于心理语言学的NLP。

🔬 方法详解

问题定义：该论文旨在解决心理语言学阴谋论标记提取和阴谋论认可检测问题。现有方法，如传统分类器，通常将语义推理与结构定位混淆，导致模型难以区分客观报告和阴谋论认可，并且在处理语义模糊和字符级错误时表现不佳。这种耦合的设计限制了模型的可解释性和泛化能力。

核心思路：论文的核心思路是将标记提取和阴谋论检测解耦，分别设计专门的模块来处理。对于标记提取，采用动态判别链式思考（DD-CoT）方法，通过确定性锚定来解决语义模糊性问题。对于阴谋论检测，构建“反回音室”架构，模拟对抗性辩论，避免模型陷入“记者陷阱”，即错误地将客观报告判定为阴谋论认可。

技术框架：整体框架包含两个主要模块：1) 心理语言学阴谋论标记提取模块，使用DD-CoT方法；2) 阴谋论认可检测模块，使用“反回音室”架构。DD-CoT模块负责从文本中提取相关的心理语言学特征。 “反回音室”架构包含一个对抗性的并行委员会，每个委员会成员从不同的角度评估文本，以及一个经过校准的法官，负责综合委员会的意见，做出最终判断。

关键创新：主要的创新点包括：1) 解耦的架构设计，将标记提取和阴谋论检测分离，提高了模型的可解释性和性能；2) 动态判别链式思考（DD-CoT）方法，通过确定性锚定解决语义模糊性问题；3) “反回音室”架构，通过模拟对抗性辩论，克服了“记者陷阱”。

关键设计：DD-CoT的关键设计在于动态生成判别性的思考链，并使用确定性锚定来约束生成过程，减少语义歧义。 “反回音室”架构的关键设计在于并行委员会的构建，每个委员会成员使用不同的prompt或模型参数，以模拟不同的观点。校准法官使用校准技术，例如温度缩放，来提高判断的准确性。具体的损失函数和网络结构细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该方法在SemEval-2026 Task 10的S1任务上实现了0.24的Macro F1，相比基线提高了100%；在S2任务上实现了0.79的Macro F1，提高了49%。在S1任务的开发排行榜上，该系统排名第三，证明了其在心理语言学标记提取和阴谋论检测方面的有效性。

🎯 应用场景

该研究成果可应用于舆情分析、虚假信息检测、网络安全等领域。通过识别文本中的心理语言学标记，可以更准确地判断信息是否包含阴谋论倾向，从而帮助用户过滤虚假信息，维护健康的网络环境。此外，该方法还可用于分析政治宣传、广告文案等，揭示其潜在的心理操纵策略。

📄 摘要（原文）

This paper presents a novel agentic LLM pipeline for SemEval-2026 Task 10 that jointly extracts psycholinguistic conspiracy markers and detects conspiracy endorsement. Unlike traditional classifiers that conflate semantic reasoning with structural localization, our decoupled design isolates these challenges. For marker extraction, we propose Dynamic Discriminative Chain-of-Thought (DD-CoT) with deterministic anchoring to resolve semantic ambiguity and character-level brittleness. For conspiracy detection, an "Anti-Echo Chamber" architecture, consisting of an adversarial Parallel Council adjudicated by a Calibrated Judge, overcomes the "Reporter Trap," where models falsely penalize objective reporting. Achieving 0.24 Macro F1 (+100\% over baseline) on S1 and 0.79 Macro F1 (+49\%) on S2, with the S1 system ranking 3rd on the development leaderboard, our approach establishes a versatile paradigm for interpretable, psycholinguistically-grounded NLP.