Can Large Language Models Forecast What Researchers Study Next?

📄 arXiv: 2609.00747v1 📥 PDF

作者: Fenghai Li, Zihan Tang, Haofei Yu, Yining Zhao, Jiaxuan You

分类: cs.CL

发布日期: 2026-09-01

备注: 31 pages, 4 figures. Accepted to EMNLP 2026

💡 一句话要点

提出IdeaForecastBench以评估研究思想的预测能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 研究思想预测 大型语言模型 IdeaForecastBench 历史压缩策略 文献评估

📋 核心要点

  1. 现有方法未能有效评估大型语言模型生成的研究思想是否能准确预测后续研究方向。
  2. 论文提出IdeaForecastBench基准，通过对比不同历史压缩策略，评估模型生成研究思想的预测能力。
  3. 实验结果显示，摘要方法在Hit@5和Precision@5上优于直接方法，Qwen2.5在预测广度上表现突出。

📝 摘要（中文）

大型语言模型越来越多地生成研究思想，但在生成时判断其新颖性或可行性并不能确定它们是否能预测后续工作。本文引入IdeaForecastBench来评估研究思想的预测能力。该基准包含624个滚动实验，涵盖52个主题，采用固定的检索-评估协议，并分别报告两位评审的结果。我们比较了五种历史压缩策略在GPT-4.1、Qwen2.5-7B/14B和Qwen3.5-9B上的表现，以及一个学习的模式分解预测器（MDF）。在主要的GPT-4.1-mini评审下，摘要方法在Hit@5和Precision@5上均优于直接方法。Qwen2.5的得分高于GPT-4.1，而Qwen3.5的得分低于它。结果盲评估发现Qwen2.5产生了更广泛的预测，但未能确定广度对其优势的贡献。IdeaForecastBench为研究社区后续追求的研究思想及其可靠性测量提供了一个共同任务。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成的研究思想是否能有效预测后续研究的问题。现有方法在评估预测能力时存在不足，难以量化其实际效果。

核心思路：论文提出IdeaForecastBench基准，通过对比不同的历史压缩策略，评估模型生成的研究思想与后续文献之间的相关性，从而判断其预测能力。

技术框架：整体架构包括文献检索、思想生成和评估三个主要模块。首先，系统根据截止日期的文献生成最多五个排名思想，然后与后续论文进行比较。

关键创新：IdeaForecastBench是一个新的评估基准，提供了一个系统化的方法来研究研究思想的预测能力，填补了现有评估方法的空白。

关键设计：在实验中，采用了固定的检索-评估协议，并分别由两位评审进行结果报告，确保评估的客观性和可靠性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，摘要方法在Hit@5和Precision@5上均优于直接方法，Qwen2.5的预测能力高于GPT-4.1，而Qwen3.5则表现较差。这些结果为研究思想的生成和评估提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括学术研究、科技创新和政策制定等。通过评估研究思想的预测能力，研究人员可以更好地把握研究趋势，优化研究方向，促进科学进步和技术发展。

📄 摘要（原文）

Large language models increasingly generate research ideas, yet judging their novelty or feasibility at generation time does not establish whether they anticipate subsequent work. We introduce IdeaForecastBench to evaluate research idea forecasting. Given a community's literature up to a cutoff, a system produces up to five ranked ideas, which are evaluated against later papers. The benchmark comprises 624 rolling episodes across 52 topics, with a fixed retrieve-then-judge protocol and separately reported results from two judges. We compare five history-compression strategies across GPT-4.1, Qwen2.5-7B/14B, and Qwen3.5-9B, together with a learned Mode-Decomposition Forecaster (MDF). Under the primary GPT-4.1-mini judge, Summary improves on Direct in Hit@5 and Precision@5 across all four backbones. Qwen2.5 scores above GPT-4.1, whereas Qwen3.5 scores below it. An outcome-blind assessment finds that Qwen2.5 produces broader forecasts, but does not identify how much breadth contributes to its advantage. Threshold and judge diagnostics further clarify the limits of interpreting realization as precise anticipation. IdeaForecastBench provides a common task for studying which research ideas a community subsequently pursues and how reliably this outcome can be measured.