Networked Synthetic Social Engineering on the Web

📄 arXiv: 2611.02407v1 📥 PDF

作者: Bryan C. Boots

分类: cs.CR, cs.AI, cs.CY

发布日期: 2026-11-02

💡 一句话要点

提出网络化合成社会工程框架以应对信息误导问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 合成社会工程 信息传播 误信息校正 社会影响 授权管理 人工智能服务 信息验证

📋 核心要点

  1. 现有的人工智能服务在信息源校正时，可能导致后续报告未能得到有效更新，影响信息的准确性。
  2. 论文提出了一个框架，旨在将社会影响与信息校正研究结合，以识别和纠正合成社会工程带来的误导信息。
  3. 实验结果显示，重复报告的校正显著降低了无效决策的残留率，并提高了成功修复的报告数量，验证了框架的有效性。

📝 摘要（中文）

本研究探讨了合成社会工程（SSE）对人工智能服务的信息传播影响，指出现有方法在信息源校正时可能导致后续报告不变。我们建立了一个框架，将社会影响、信息聚合和误信息校正研究连接起来，分析了身份、证据支持和授权的区别。通过在Agent Service Exchange和Evidence Commons中进行的实验，发现多发布者未能显著提高对不支持验证的确认，且高错误率和私密传递阻碍了对社会压力的免疫。研究结果强调了在处理重复报告时应单独评估事实和权限恢复，并在执行时加强授权管理。

🔬 方法详解

问题定义：本研究旨在解决合成社会工程对信息传播的影响，现有方法在校正信息源时未能有效更新后续报告，导致信息误导持续存在。

核心思路：论文的核心思路是建立一个综合框架，将社会影响、信息聚合和误信息校正结合起来，以便更有效地识别和纠正误导信息，特别是在处理重复报告时。

技术框架：整体架构包括三个主要模块：信息源识别、误信息校正和授权管理。信息源识别用于检测和分类信息来源，误信息校正模块负责对不支持的报告进行修正，而授权管理则确保信息发布的合法性。

关键创新：最重要的技术创新在于将社会影响与信息校正研究结合，明确区分信息来源的合法性和证据支持，提供了一种新的视角来理解和应对信息误导。

关键设计：在实验中，采用了Qwen3-4B模型进行信息处理，设置了多个依赖发布者的对比实验，损失函数设计为最小化无效决策率，确保在相同通知覆盖下进行有效的报告修复。实验还强调了授权管理的重要性，以防止未授权请求的发生。

📊 实验亮点

实验结果表明，重复报告的校正使无效决策的残留率从14.4%降低至8.1%，成功修复的报告数量从16/63提升至36/63，显示出显著的改进效果。这些结果强调了在信息处理中的重要性和必要性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、新闻传播和在线信息验证等，能够帮助设计更有效的信息校正机制，减少误导信息的传播。未来，该框架可能在人工智能服务的设计中发挥重要作用，提升信息的准确性和可靠性。

📄 摘要（原文）

Several genuine AI services may repeat one unsupported source, and correcting that source may leave later reports unchanged. We examine these networked consequences of synthetic social engineering (SSE), deliberately misleading influence intended to redirect AI recipients from authorized objectives. Our framework connects social influence, information aggregation, and misinformation correction research to observable evidence and permission boundaries. It separates originating attempts from legitimate intermediaries' work and distinguishes identity, evidentiary support, and authorization. We test four relationships using Qwen3-4B and two briefing tasks across 1,080 research units in our Agent Service Exchange and Evidence Commons (ASE-EC). Multiple dependent publishers produced no supported increase in unsupported verification (78.3% versus 75.0%); publication availability left downstream violation reach at 40.0% in both arms. These comparisons direct attention to weaknesses already present in the reference workflows. High reference error rates and retained private handoffs preclude claims of immunity to social pressure. Without scope revalidation, corrections identifying dependent reports reduced residual invalid decisions from 14.4% to 8.1% at equal notification coverage and increased successful report repairs from 16/63 to 36/63. Scope revalidation added no demonstrated protection, and clearing dialogue offered no established recovery advantage. Unapproved requests persisted, all blocked by an external gateway. For designers, the findings caution against treating publisher count as independent evidence, notification as repair, or cleared histories as recovery. They support targeting corrections at reused reports, assessing factual and permission recovery separately, and enforcing authorization at execution.