Think-Probe-Respond: Improving Large Language Models as Judges of Research Idea Novelty

📄 arXiv: 2608.25660v1 📥 PDF

作者: Tim Schopf, Tobias Schreieder, Akiko Aizawa

分类: cs.CL, cs.AI

发布日期: 2026-08-26

备注: Accepted to EMNLP 2026 (Findings)

💡 一句话要点

提出Think-Probe-Respond以解决大语言模型判断研究创意新颖性的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 新颖性判断 大语言模型 科学发现 推理机制 自动化评估

📋 核心要点

  1. 现有的大语言模型在判断研究创意新颖性时，存在系统性偏见，常常将创意评估为“中等新颖性”。
  2. 论文提出的TPR方法通过在推理阶段探测潜在的新颖性判断，利用这些判断来调整最终的评估结果。
  3. 实验结果表明，TPR方法在新颖性判断性能上提升了22.30%，有效缓解了“中等新颖性”偏见。

📝 摘要（中文）

自动化的新颖性判断能够加速科学发现，促进研究创意的高效评估、完善与比较。尽管大语言模型在此任务中逐渐被采用，但我们发现其判断能力存在被忽视的局限性：尽管生成的推理理由与人类专家相似，但最终的新颖性判断常常存在显著差异。我们证明这种误校准源于对创意的“中等新颖性”判断的系统性偏见。为此，我们提出了Think-Probe-Respond（TPR），一种轻量级的方法，通过在推理阶段探测潜在的新颖性判断，并利用探测到的判断来调整最终响应。TPR在强基线下提高了22.30%的新颖性判断性能，并成功减轻了普遍存在的“中等新颖性”偏见。

🔬 方法详解

问题定义：论文要解决的问题是大语言模型在判断研究创意新颖性时存在的系统性偏见，尤其是倾向于将创意评估为“中等新颖性”。现有方法未能有效捕捉和调整这种偏见，导致最终判断的准确性不足。

核心思路：论文的核心解决思路是通过引入Think-Probe-Respond（TPR）方法，在推理阶段探测潜在的新颖性判断，并利用这些判断来条件化最终的响应。这种设计旨在更好地反映人类专家的判断过程，从而提高模型的判断准确性。

技术框架：TPR方法的整体架构包括三个主要阶段：首先，模型在推理阶段生成初步的推理理由；其次，通过探测隐藏状态中的潜在新颖性判断；最后，利用探测到的判断来调整和优化最终的评估结果。

关键创新：TPR方法的最重要技术创新在于其在推理阶段的潜在判断探测机制，这与现有方法的直接输出判断的方式本质上不同。通过这种机制，TPR能够更准确地捕捉到创意的新颖性。

关键设计：在TPR方法中，关键的参数设置包括隐藏状态的选择和探测机制的设计。此外，损失函数的设计也考虑了新颖性判断的准确性，以确保模型在训练过程中能够有效学习到更准确的判断标准。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，TPR方法在新颖性判断性能上提升了22.30%，相较于强基线表现显著改善。这一结果表明TPR有效缓解了大语言模型在新颖性判断中的“中等新颖性”偏见，具有重要的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括科学研究、技术创新和学术评审等。通过提高大语言模型在新颖性判断上的准确性，研究人员和评审者能够更高效地评估和比较研究创意，从而加速科学发现的进程。未来，TPR方法可能会在更多领域得到应用，推动相关领域的创新与发展。

📄 摘要（原文）

Automated novelty judgment can accelerate scientific discovery by enabling efficient evaluation, refinement, and comparison of research ideas. While large language models are increasingly adopted for this task, we investigate a previously overlooked limitation in their judgment capabilities: despite generating reasoning rationales that closely mirror those of human experts, their final novelty judgments often diverge substantially. We demonstrate that this miscalibration stems from a systematic bias towards judging ideas as "medium novel". To mitigate this, we propose Think-Probe-Respond (TPR), a lightweight approach that probes latent novelty judgments from hidden states during the reasoning phase and uses the probed judgments to condition the final response. Across strong baselines, TPR improves novelty judgment performance by 22.30% and successfully mitigates the prevalent "medium novelty" bias.