ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research

📄 arXiv: 2606.07591 📥 PDF

作者: Wanghan Xu, Shuo Li, Tianlin Ye, Qinglong Cao, Yixin Chen, Hengjian Gao, Yiheng Wang, Qi Li, Kun Li, Sheng Xu, Shengdu Chai, Fangchen Yu, Xiangyu Zhao, Zhangrui Zhao, Weijie Ma, Zijie Guo, Koutian Wu, Haoyu Zhou, Haoxiang Yin, Lixue Cheng, Chaofan Hu, Haoxuan Li, Lu Mi, Xuxuan Xie, Yifan Zhou, Ruizhe Chen, Zhiwang Zhou, Xingjian Guo, Yuhao Zhou, Xuming He, Shengyuan Xu, Xinyu Gu, Jiamin Wu, Mianxin Liu, Chunfeng Song, Fenghua Ling, Dongzhan Zhou, Shixiang Tang, Yuqiang Li, Mao Su, Peng Ye, Siqi Sun, Bin Wang, Xue Yang, Zhenfei Yin, Tianfan Fu, Guangtao Zhai, Wanli Ouyang, Bo Zhang, Lei Bai, Wenlong Zhang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-07-05

💡 一句话要点

提出ResearchClawBench以评估自主科学研究能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主研究 科学基准 多模态评估 AI编码代理 文献分析 数据挖掘 科学发现

📋 核心要点

  1. 现有的AI编码代理在科学研究中的自主能力验证面临挑战，尤其是在再发现真实科学成果方面。
  2. ResearchClawBench通过设计多模态评分标准，提供了一种系统化的评估框架，能够量化自主研究代理的表现。
  3. 实验结果显示，最强的自主代理Claude Code的平均得分为21.5，表明当前技术在科学研究的再发现能力上仍有待提升。

📝 摘要（中文）

随着AI编码代理在科学工作中的应用日益增加，其端到端自主研究能力的验证仍然困难。本文提出了ResearchClawBench，一个用于评估自主科学研究的基准，涵盖来自10个科学领域的40个任务。每个任务基于真实的已发表论文，提供相关文献和原始数据，并在评估过程中隐藏目标论文。专家策划的多模态评分标准将目标科学成果分解为加权标准，使得在评估目标论文级别的再发现时，仍留有新的发现空间。我们在统一协议下评估了七个自主研究代理和十七个本地LLM，结果显示当前系统在可靠再发现方面仍有较大差距。

🔬 方法详解

问题定义：论文旨在解决现有AI编码代理在科学研究中自主能力验证的不足，尤其是在再发现真实科学成果的能力方面存在显著挑战。

核心思路：通过构建ResearchClawBench基准，论文提供了一种系统化的评估框架，涵盖多种科学领域的任务，允许对自主研究代理进行全面评估。

技术框架：ResearchClawBench包含40个任务，基于真实的已发表论文，提供相关文献和数据，评估过程中隐藏目标论文。采用专家策划的多模态评分标准，分解科学成果的评估标准。

关键创新：最重要的创新在于引入了多模态评分标准，允许对自主研究代理的表现进行细致的量化评估，与传统方法相比，提供了更全面的评估视角。

关键设计：在评估过程中，设置了加权标准以反映不同科学成果的重要性，采用轻量级的ResearchHarness进行统一协议下的评估，确保实验的可重复性和可靠性。

📊 实验亮点

实验结果表明，最强的自主研究代理Claude Code的平均得分为21.5，而最强的ResearchHarness LLM Claude-Opus-4.7的得分为20.7，整体LLM的前沿均值仅为26.5，显示出当前技术在科学研究再发现能力上的不足。

🎯 应用场景

ResearchClawBench的设计为科学研究领域的AI代理提供了一个标准化的评估工具，能够帮助研究人员理解和改进自主研究能力。其潜在应用包括科学文献的自动分析、数据挖掘以及新发现的辅助生成，未来可能推动科学研究的自动化进程。

📄 摘要（原文）

AI coding agents are increasingly used for scientific work, but their end-to-end autonomous research capability remains difficult to verify. We present ResearchClawBench, a benchmark for evaluating autonomous scientific research across 40 tasks from 10 scientific domains. Each task is grounded in a real published paper, provides related literature and raw data, and hides the target paper during evaluation. Expert-curated multimodal rubrics decompose the target scientific artifacts into weighted criteria, enabling evaluation of target-paper-level re-discovery while leaving room for new discovery. We evaluate seven autonomous research (auto-research) agents under a unified protocol and seventeen native LLMs through the lightweight ResearchHarness. Current systems remain far from reliable re-discovery: the strongest autonomous agent, Claude Code, averages 21.5, and the strongest ResearchHarness LLM, Claude-Opus-4.7, averages 20.7, with an LLM frontier mean of only 26.5. Error analysis shows that failures concentrate in experimental protocol mismatch, evidence mismatch, and missing scientific core. ResearchClawBench provides a reproducible evaluation frontier for measuring progress toward autonomous scientific research.