Gaming Consensus: Coordinated Manipulation in Crowdsourced Fact-Checking
作者: Nikil Roashan Selvam, Jay Baxter, Sophie Hilgard, Brad Miller, Keith Coleman, Ellen Vitercik, Sanmi Koyejo
分类: cs.LG
发布日期: 2026-07-05
💡 一句话要点
提出协调操控机制以解决众包事实核查中的操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 众包核查 信息操控 矩阵分解 用户行为分析 社交媒体治理
📋 核心要点
- 现有的众包事实核查系统容易受到协调用户的操控，导致伪造的共识现象，影响信息的真实性。
- 本文提出了一种新的理论和实证评估方法，分析用户如何利用潜在表示进行战略投票，以影响核查结果。
- 实验结果显示，低质量笔记的操控率可达10.7%，并且少于10个评分即可超越共识阈值，揭示了系统的脆弱性。
📝 摘要（中文）
众包事实核查系统已被主要社交媒体公司如X、Meta、TikTok和Google采用，旨在大规模打击误导性信息，而无需依赖集中编辑控制。这些系统围绕一个共同的基本概念开发：一种桥接机制，当不同观点的人支持时，识别标记误导性信息的笔记，而不仅仅是简单的多数支持。本文考察了这些系统的核心矩阵分解部分，评估了协调用户如何通过利用潜在表示进行战略投票，从而在桥接机制中伪造合成共识的程度。通过历史生产数据，我们发现高达10.7%的低质量笔记可以在少于10个评分的情况下被操控超过共识阈值。我们还进行了理论分析，揭示了将笔记标记为“不帮助”反而可以提高其帮助分数的反直觉现象，并量化了操控努力的成本模型。
🔬 方法详解
问题定义：本文旨在解决众包事实核查系统中协调用户操控的问题，现有方法主要依赖矩阵分解算法，容易被少数用户操控，导致伪造共识现象。
核心思路：通过理论和实证分析，探讨用户如何利用潜在表示进行战略投票，从而影响核查结果的有效性，提出相应的缓解措施。
技术框架：整体架构包括数据收集、用户行为分析、矩阵分解算法和结果评估四个主要模块，利用历史数据进行模型训练和验证。
关键创新：最重要的技术创新在于揭示了将笔记标记为“不帮助”反而提高其帮助分数的现象，挑战了传统的评分机制。
关键设计：在算法设计中，设置了特定的评分阈值和损失函数，以量化操控努力，并优化了矩阵分解的参数设置，增强了系统的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，最多可有10.7%的低质量笔记在少于10个评分的情况下被操控超过共识阈值，显示出系统在面对协调操控时的脆弱性。这一发现为改进现有核查机制提供了重要依据。
🎯 应用场景
该研究的潜在应用领域包括社交媒体平台的内容审核、在线信息验证和虚假信息检测等。通过改进众包核查机制，可以有效提升信息的真实性和用户的信任度，未来可能对社交媒体的内容治理产生深远影响。
📄 摘要（原文）
Crowdsourced fact-checking systems have been adopted by major social media companies such as X, Meta, TikTok and Google with the aim of combating misleading information at scale without relying on centralized editorial control. These systems have been developed around a common underlying concept: a bridging mechanism that identifies notes flagging misleading information when they receive support from people with different perspectives rather than simple majority support. To our knowledge the only publicly disclosed bridging algorithms deployed for fact-checking are based on matrix factorization, as deployed by both X and Meta, augmented with additional components addressing abuse, targeted manipulation, and contributor brigades. This work examines the core matrix factorization portion of these systems, presenting theoretical and empirical evaluations of the degree to which coordinated users could vote strategically by leveraging the latent representations to fabricate the appearance of synthetic consensus within the bridging mechanism. Using historic production data, we find that up to 10.7% of lower quality notes could be manipulated above consensus thresholds using less than 10 ratings. We complement these findings with a theoretical analysis, revealing counterintuitively that rating a note as "Not Helpful" can increase its helpfulness score, as well as a cost model quantifying manipulation effort. We have developed and deployed mitigations within X's Community Notes algorithm to address synthetic consensus.