Think-J: Learning to Think for Generative LLM-as-a-Judge

📄 arXiv: 2505.14268v1 📥 PDF

作者: Hui Huang, Yancheng He, Hongli Zhou, Rui Zhang, Wei Liu, Weixun Wang, Wenbo Su, Bo Zheng, Jiaheng Liu

分类: cs.CL, cs.AI

发布日期: 2025-05-20

备注: 16 pages, 14 figures

💡 一句话要点

提出Think-J以提升生成式LLM的评判能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成式模型 强化学习 自动评判 自然语言处理 模型优化

📋 核心要点

  1. 现有的生成式LLM在作为评判者时的表现不尽如人意，无法有效建模生成响应的偏好。
  2. 本文提出的Think-J通过学习思考过程来提升生成式LLM的评判能力，采用强化学习进行优化。
  3. 实验结果显示，Think-J显著提升了评判能力，超越了现有的生成和分类器基础的评判方法。

📝 摘要（中文）

LLM-as-a-Judge指的是自动建模大型语言模型（LLMs）生成的响应偏好，这对LLM评估和奖励建模具有重要意义。尽管生成式LLMs在多项任务上取得了显著进展，但其作为评判者的表现仍未达到预期。本文提出了Think-J，通过学习思考来改善生成式LLM-as-a-Judge。我们首先利用少量精心策划的数据开发具有初步判断思维能力的模型，随后基于强化学习（RL）优化判断思维轨迹。我们提出了两种基于离线和在线RL的判断思维优化方法。实验结果表明，我们的方法显著增强了生成式LLM评判者的评估能力，超越了无需额外人工标注的生成和分类器基础的LLM评判者。

🔬 方法详解

问题定义：本文旨在解决生成式LLM作为评判者时的能力不足，现有方法在建模生成响应偏好方面存在局限性。

核心思路：提出Think-J，通过学习思考过程来提升生成式LLM的评判能力，采用强化学习优化判断思维轨迹。

技术框架：整体架构包括初步模型开发和基于强化学习的优化阶段，前者利用小量数据构建初始模型，后者则通过离线和在线RL方法进行优化。

关键创新：最重要的创新在于提出了两种不同的判断思维优化方法，分别基于离线和在线强化学习，显著提升了评判能力。

关键设计：离线RL方法需要训练一个评论模型以构建正负示例，而在线方法则定义基于规则的奖励作为反馈，优化过程不需要额外的人类标注。

📊 实验亮点

实验结果表明，Think-J在评判能力上显著优于现有的生成和分类器基础的LLM评判者，具体提升幅度超过了XX%（具体数据未知），且无需额外的人类标注，展示了其高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动化内容评估、智能问答系统和人机交互等。通过提升生成式LLM的评判能力，能够更好地支持各种自然语言处理任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

LLM-as-a-Judge refers to the automatic modeling of preferences for responses generated by Large Language Models (LLMs), which is of significant importance for both LLM evaluation and reward modeling. Although generative LLMs have made substantial progress in various tasks, their performance as LLM-Judge still falls short of expectations. In this work, we propose Think-J, which improves generative LLM-as-a-Judge by learning how to think. We first utilized a small amount of curated data to develop the model with initial judgment thinking capabilities. Subsequently, we optimize the judgment thinking traces based on reinforcement learning (RL). We propose two methods for judgment thinking optimization, based on offline and online RL, respectively. The offline RL requires training a critic model to construct positive and negative examples for learning. The online method defines rule-based reward as feedback for optimization. Experimental results showed that our approach can significantly enhance the evaluation capability of generative LLM-Judge, surpassing both generative and classifier-based LLM-Judge without requiring extra human annotations.