Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval
作者: Shengjie Ma, Qi Chu, Jiaxin Mao, Xuhui Jiang, Haozhe Duan, Chong Chen
分类: cs.AI, cs.IR
发布日期: 2024-03-27 (更新: 2025-08-14)
💡 一句话要点
提出一种新型方法利用大语言模型进行法律案件检索的相关性判断
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律检索 大语言模型 相关性判断 少量样本学习 知识蒸馏 可解释性 法律推理
📋 核心要点
- 核心问题：现有法律案件检索方法在相关性判断上缺乏可解释性，且依赖于大量领域专业知识。
- 方法要点：提出一种少量样本的方法，通过大语言模型生成与专家对齐的可解释相关性判断，模拟人工标注者的工作流程。
- 实验或效果：实验证明该方法在相关性评估上与人类专家的判断相当，并且在最小专家监督下实现了知识蒸馏。
📝 摘要（中文）
确定哪些法律案件与给定查询相关，涉及长文本的解析和细致的法律推理。传统方法需要大量时间和领域专业知识来识别关键法律事实并得出合理的法律结论。此外，现有法律案件相似性数据往往缺乏可解释性，难以理解相关性判断的依据。为填补这一研究空白，本文提出了一种新颖的少量样本方法，利用大语言模型生成与专家对齐的可解释相关性判断。该方法将判断过程分解为多个阶段，模拟人工标注者的工作流程，并灵活地融入专家推理，以提高相关性判断的准确性。通过与人类专家的相关性判断比较，实证表明该方法能够产生可靠有效的相关性评估。
🔬 方法详解
问题定义：本文旨在解决法律案件检索中相关性判断的可解释性不足和对领域专业知识的高依赖性问题。现有方法往往缺乏透明度，导致判断依据难以理解。
核心思路：提出一种新颖的少量样本方法，利用大语言模型（LLM）生成与法律专家对齐的可解释相关性判断。该方法通过分阶段的方式模拟人工标注者的工作流程，使得专家推理能够灵活融入判断过程。
技术框架：整体架构包括多个阶段，首先是输入查询和案件文本，然后通过大语言模型生成初步判断，接着结合专家反馈进行调整，最后输出可解释的相关性评估。
关键创新：最重要的技术创新在于将大语言模型应用于法律案件的相关性判断，并通过少量样本学习实现专家知识的有效迁移，显著提高了判断的准确性和可解释性。
关键设计：在模型训练中，采用了少量样本学习策略，结合专家标注的案例进行微调，确保模型能够捕捉到法律推理的细微差别。损失函数设计上，强调可解释性和准确性之间的平衡。整体网络结构基于现有的LLM架构，进行了适当的调整以适应法律文本的特点。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用大语言模型进行相关性判断的准确性与人类专家相当，且在最小专家监督下，模型能够有效学习案件分析的专业知识。与传统方法相比，相关性判断的可解释性显著提升，确保了透明度和信任度。
🎯 应用场景
该研究的潜在应用领域包括法律信息检索、法律咨询服务和智能法律助手等。通过提高法律案件相关性判断的准确性和可解释性，能够为法律从业者提供更高效的支持，降低法律服务的门槛，推动法律技术的发展。
📄 摘要（原文）
Determining which legal cases are relevant to a given query involves navigating lengthy texts and applying nuanced legal reasoning. Traditionally, this task has demanded significant time and domain expertise to identify key Legal Facts and reach sound juridical conclusions. In addition, existing data with legal case similarities often lack interpretability, making it difficult to understand the rationale behind relevance judgments. With the growing capabilities of large language models (LLMs), researchers have begun investigating their potential in this domain. Nonetheless, the method of employing a general large language model for reliable relevance judgments in legal case retrieval remains largely unexplored. To address this gap in research, we propose a novel few-shot approach where LLMs assist in generating expert-aligned interpretable relevance judgments. The proposed approach decomposes the judgment process into several stages, mimicking the workflow of human annotators and allowing for the flexible incorporation of expert reasoning to improve the accuracy of relevance judgments. Importantly, it also ensures interpretable data labeling, providing transparency and clarity in the relevance assessment process. Through a comparison of relevance judgments made by LLMs and human experts, we empirically demonstrate that the proposed approach can yield reliable and valid relevance assessments. Furthermore, we demonstrate that with minimal expert supervision, our approach enables a large language model to acquire case analysis expertise and subsequently transfers this ability to a smaller model via annotation-based knowledge distillation.