Gaming Consensus: Coordinated Manipulation in Crowdsourced Fact-Checking
作者: Nikil Roashan Selvam, Jay Baxter, Sophie Hilgard, Brad Miller, Keith Coleman, Ellen Vitercik, Sanmi Koyejo
分类: cs.LG
发布日期: 2026-07-02
备注: ICML 2026
💡 一句话要点
提出协调操控机制以解决众包事实核查中的操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 众包事实核查 操控机制 矩阵分解 用户行为建模 信息真实性
📋 核心要点
- 现有的众包事实核查系统容易受到用户协调操控的影响，导致伪造共识的现象。
- 本文提出了一种新的理论和实证评估方法，分析用户如何利用潜在表示进行战略投票。
- 实验结果表明，低质量笔记的操控率可达10.7%，且少于10个评分即可实现操控。
📝 摘要（中文）
众包事实核查系统已被主要社交媒体公司如X、Meta、TikTok和Google采用，旨在大规模打击误导性信息，而无需依赖集中编辑控制。这些系统围绕一个共同的基本概念开发：一种桥接机制，当来自不同观点的人支持标记误导性信息的笔记时，能够识别这些笔记，而不仅仅依赖简单的多数支持。本文考察了这些系统的核心矩阵分解部分，评估了协调用户如何通过利用潜在表示进行战略投票，从而在桥接机制中伪造合成共识的程度。通过历史生产数据，我们发现低质量笔记中高达10.7%可以在不到10个评分的情况下被操控超过共识阈值。我们还进行了理论分析，揭示了将笔记评分为“不有帮助”反而可能提高其有帮助分数的反直觉现象，并量化了操控努力的成本模型。
🔬 方法详解
问题定义：本文旨在解决众包事实核查系统中用户协调操控的问题，现有方法在识别和防范这种操控方面存在不足。
核心思路：通过理论和实证分析，探讨用户如何利用潜在表示进行战略投票，从而伪造合成共识。
技术框架：整体架构包括数据收集、矩阵分解分析、用户行为建模和操控检测模块，形成一个闭环反馈系统。
关键创新：最重要的创新在于揭示了将笔记评分为“不有帮助”可能反而提高其有帮助分数的现象，这一发现与传统理解相悖。
关键设计：在模型中设置了特定的损失函数以量化操控努力，并设计了适应性参数以应对不同类型的用户行为。通过这些设计，系统能够更有效地识别和缓解操控行为。
🖼️ 关键图片
📊 实验亮点
实验结果显示，低质量笔记的操控率可达10.7%，且在不到10个评分的情况下即可实现操控。这一发现强调了现有众包核查机制的脆弱性，并为未来的改进提供了重要依据。
🎯 应用场景
该研究的潜在应用领域包括社交媒体平台、在线评论系统和任何需要用户生成内容的环境。通过改进事实核查机制，可以有效减少误导性信息的传播，提高信息的真实性和可靠性，进而增强用户对平台的信任。
📄 摘要（原文）
Crowdsourced fact-checking systems have been adopted by major social media companies such as X, Meta, TikTok and Google with the aim of combating misleading information at scale without relying on centralized editorial control. These systems have been developed around a common underlying concept: a bridging mechanism that identifies notes flagging misleading information when they receive support from people with different perspectives rather than simple majority support. To our knowledge the only publicly disclosed bridging algorithms deployed for fact-checking are based on matrix factorization, as deployed by both X and Meta, augmented with additional components addressing abuse, targeted manipulation, and contributor brigades. This work examines the core matrix factorization portion of these systems, presenting theoretical and empirical evaluations of the degree to which coordinated users could vote strategically by leveraging the latent representations to fabricate the appearance of synthetic consensus within the bridging mechanism. Using historic production data, we find that up to 10.7% of lower quality notes could be manipulated above consensus thresholds using less than 10 ratings. We complement these findings with a theoretical analysis, revealing counterintuitively that rating a note as "Not Helpful" can increase its helpfulness score, as well as a cost model quantifying manipulation effort. We have developed and deployed mitigations within X's Community Notes algorithm to address synthetic consensus.