Build it, Break it, Repeat: Benchmarking and improving LLM-manipulated disinformation detection in social media posts
作者: Kevin Thomas, Milosz Kasprzyk, Reuel C Igbokwe Onuigbo, Elliott Pert, Cameron Tovey, João A. Leite, Olesya Razuvayevskaya, Carolina Scarton
分类: cs.CL, cs.AI, cs.SI
发布日期: 2026-08-10
备注: Under review
💡 一句话要点
提出BiBiR框架以提升社交媒体虚假信息检测能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 虚假信息检测 大型语言模型 社交媒体 对抗攻击 鲁棒性评估 三元对比模型 迭代框架
📋 核心要点
- 现有的虚假信息检测方法在面对经过故意变形的内容时表现不佳，无法有效捕捉其鲁棒性。
- 本文提出BiBiR框架，通过迭代会话设计对检测器进行压力测试，评估其在对抗条件下的表现。
- 实验结果显示，最佳的对抗变换技术实现了95%的标签翻转率，而构建模型的准确率达72.68%，显著优于基线模型。
📝 摘要（中文）
随着大型语言模型（LLMs）的发展，社交媒体上机器生成的虚假信息检测变得愈加困难。传统的静态基准评估无法有效捕捉检测器在面对故意变形的内容时的表现。本文提出了Build it, Break it, Repeat（BiBiR）框架，通过迭代会话对检测器的鲁棒性进行压力测试，评估其在虚假信息被系统性转化以规避分类时的可靠性。研究发现，最佳的对抗变换来自于反向翻译和基于LLM角色的重写，最高标签翻转率达到95%。最佳构建模型为三元对比模型，平均准确率为72.68%，在最强对抗攻击下超越基线模型15个百分点。结果表明，迭代框架能够有效暴露检测器的弱点并推动鲁棒性提升。
🔬 方法详解
问题定义：本文旨在解决社交媒体上机器生成虚假信息的检测问题，现有方法在面对经过故意变形的内容时表现不佳，无法有效捕捉检测器的鲁棒性。
核心思路：提出BiBiR框架，通过迭代会话的方式对检测器进行压力测试，评估其在对抗条件下的可靠性，旨在提高检测器的鲁棒性和准确性。
技术框架：BiBiR框架包含多个迭代阶段，每个阶段都对检测器施加不同的对抗变换，主要模块包括对抗变换生成、检测器评估和结果分析。
关键创新：最重要的技术创新在于将Build it, Break it框架扩展为BiBiR，通过迭代测试不断优化检测器的性能，显著提升了对抗攻击下的检测能力。
关键设计：采用三元对比模型作为最佳构建模型，结合动态锚点切换（DASS）架构，设置了特定的损失函数以优化模型在对抗条件下的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳对抗变换技术实现了95%的标签翻转率，而构建模型的平均准确率为72.68%，在最强对抗攻击下超越基线模型（fine-tuned e5-small-LoRA）15个百分点，充分展示了BiBiR框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括社交媒体平台的虚假信息监测、在线内容审核以及自动化信息验证系统。通过提升虚假信息检测的鲁棒性，能够有效减少误导性内容的传播，保护用户信息安全，促进网络环境的健康发展。
📄 摘要（原文）
Detecting machine-generated disinformation on social media is increasingly difficult as large language models (LLMs) make it easier to generate and rewrite misleading content at scale. Static benchmark evaluations, measuring detector performance on fixed held-out datasets, do not capture how detectors behave when posts are deliberately transformed to evade classification. This paper adapts the Build it, Break it, Fix it framework into Build it, Break it, Repeat (BiBiR): iterative sessions designed to stress-test detectors' robustness under iterative adversarial conditions, evaluating whether models remain reliable when disinformation posts are systematically transformed to evade classification. Across five iterations, the findings show that the best adversarial breakers' transformations came from a combination of back-translation and LLM persona-based rewriting, with the best performing technique achieving a 95% label flip rate (LFR), whilst still preserving the meaning of the original posts. The best builders' model was a triplet contrastive model with a dynamic anchor switching (DASS) architecture, which achieved an average accuracy of 72.68%, outperforming the strong baseline (a fine-tuned e5-small-LoRA) by 15 percentage points on the most robust set of breakers' adversarial attacks. The results demonstrate that an iterative framework best exposes detector weaknesses and pushes robustness improvements; however, it may still require semantic preservation analysis to distinguish valid adversarial evasion from transformations that changed the original disinformation claims' meaning.