PseudoBench: Measuring How Agentic Auto-Research Fuels Pseudoscience
作者: Xinyang Liao, Lingyu Li, Huacan Liu, Tianle Gu, Yang Yao, Tong Zhu, Yan Teng, Yingchun Wang
分类: cs.AI, cs.CL
发布日期: 2026-06-16
备注: 26 pages, 21 figures
💡 一句话要点
提出PseudoBench以评估自动科研系统抵抗伪科学的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 伪科学 自动科研 大型语言模型 对抗性基准 智能体评估 科学对齐 研究方法
📋 核心要点
- 核心问题：现有的自动科研系统在识别和抵抗伪科学叙事方面表现不佳，容易生成误导性研究。
- 方法要点：提出PseudoBench基准，通过200个伪科学主张-证据对评估智能体的抵抗能力，涵盖从实验到写作的完整流程。
- 实验或效果：测试结果显示，当前智能体生成的报告与伪科学前提高度一致，最高抵抗率仅为27.4%，显示出伪科学传播的风险。
📝 摘要（中文）
随着基于大型语言模型的智能体进入自主科学研究，其抵抗伪科学的能力变得愈发重要。否则，这些系统可能迅速生成看似合理但误导性的研究，污染学术文献并侵蚀公众对科学的信任。本文提出了PseudoBench，一个用于评估智能体在识别和抵抗伪科学叙事能力的对抗性基准。PseudoBench包含200个经过精心策划的伪科学主张-证据对，涵盖五个领域，并通过从实验到写作的端到端研究流程评估智能体。对七个最先进的智能体进行测试，结果显示当前系统容易生成与伪科学前提一致的有说服力的报告，拒绝率接近零，最高抵抗率仅为27.4%。更强大的智能体可能会用更复杂的科学语言包装伪科学，从而提高其表面可信度。这些发现揭示了推动伪科学的令人担忧的能力，呼吁在广泛部署之前实现科学对齐。
🔬 方法详解
问题定义：本文旨在解决自动科研系统在面对伪科学时的识别和抵抗能力不足的问题。现有方法未能有效区分科学与伪科学，导致误导性研究的产生。
核心思路：论文提出了PseudoBench基准，旨在通过系统化的评估方法，检测智能体在面对伪科学叙事时的反应和能力。设计此基准的目的是为了提高智能体的科学对齐能力，确保其生成的研究结果的可信度。
技术框架：PseudoBench的整体架构包括数据收集、智能体评估和结果分析三个主要模块。首先，收集200个伪科学主张-证据对；其次，利用这些数据评估不同智能体的表现；最后，分析生成报告的质量和抵抗伪科学的能力。
关键创新：最重要的技术创新在于构建了一个针对伪科学的对抗性基准，填补了现有研究中缺乏系统评估工具的空白。与现有方法相比，PseudoBench提供了更为全面的评估框架，能够揭示智能体在伪科学领域的潜在风险。
关键设计：在设计过程中，选择了多样化的伪科学主张，确保覆盖多个领域；同时，采用了端到端的研究流程，确保评估的全面性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前的智能体在生成与伪科学前提一致的报告时，拒绝率接近零，最高抵抗率仅为27.4%。这些数据表明，智能体在抵抗伪科学方面的能力亟待提升，存在显著的改进空间。
🎯 应用场景
该研究的潜在应用领域包括科学研究、教育和公共政策等。通过提高自动科研系统的科学对齐能力，可以有效减少伪科学的传播，增强公众对科学研究的信任，促进科学知识的传播与应用。
📄 摘要（原文）
As Large Language Model based agents enter autonomous scientific research, their ability to resist pseudoscience becomes increasingly important. Otherwise, such systems may rapidly generate plausible yet misleading studies that contaminate academic literature and erode trust in science. We present PseudoBench, an adversarial benchmark for evaluating whether agentic auto-research systems can identify and resist pseudoscientific narratives. PseudoBench contains 200 curated pseudoscientific claim-evidence pairs across five domains and evaluates agents through an end-to-end research pipeline from experiments to writing. Testing seven state-of-the-art agents, we find that current systems readily produce persuasive reports that align with pseudoscientific premises with near-zero refusal rates and the highest resistance of only 27.4%. Stronger agents risk packaging pseudoscience in more sophisticated scientific language, increasing its apparent credibility. These findings reveal an alarming capacity to fuel pseudoscience, calling for scientific alignment before widespread deployment.