DLawBench: Evaluating LLMs Through Multi-Turn Legal Consultation

📄 arXiv: 2606.13931v1 📥 PDF

作者: Li Zhang, Yuzhen Shi, Yiran Hu, Jingwen Zhang, Wenbo Lv, Yubo Ma, Wei Wang, Rongyao Shi, Yuanyang Qiu, Xinran Xu, Yuemeng Qi, Linlin Miao, Jaromir Savelka, Yun Liu, Kevin Ashley, Bing Zhao, Hu Wei, Lin Qu

分类: cs.CL

发布日期: 2026-06-11

备注: 37 pages, 8 figures, 26 tables. Code and data: https://github.com/SKYLENAGE-AI/DLawBench

💡 一句话要点

提出DLawBench以评估大型语言模型在法律咨询中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律咨询 大型语言模型 多轮互动 评估基准 法律推理 客户行为 智能法律服务

📋 核心要点

  1. 现有法律基准测试未能充分评估大型语言模型在多轮互动中的表现，导致法律咨询效果不佳。
  2. DLawBench通过模拟真实客户行为，将律师-客户互动分为四种类型，提供了一个全面的评估框架。
  3. 实验结果显示，最佳模型GPT-5.5在咨询基础的法律推理上仅达到0.562，表明还有显著的提升空间。

📝 摘要（中文）

律师与客户的咨询是法律服务的关键起点。有效的法律援助依赖于从客户那里获取充分且真实的信息，以制定最佳保护其利益的策略。该任务要求大型语言模型（LLMs）不仅要进行稳健的法律推理，还要通过多轮互动战略性地引导客户提供重要事实，并有效指导具有不同个性的客户。然而，现有的法律基准测试忽视了这种互动能力。为填补这一空白，本文提出了DLawBench，一个用于真实法律咨询的诊断基准。DLawBench评估26个代表性LLMs在真实条件下进行法律咨询的有效性，揭示了法律咨询中的谄媚现象及一个悖论：当客户最需要指导时，模型的表现反而更差。

🔬 方法详解

问题定义：本文旨在解决现有法律基准测试无法评估大型语言模型在多轮法律咨询中的互动能力的问题。现有方法未能考虑客户的多样性和互动的复杂性，导致法律咨询效果不理想。

核心思路：DLawBench通过模拟真实的律师-客户互动，设计了一个包含多种客户行为类型的评估框架，以便更全面地测试LLMs在法律咨询中的表现。

技术框架：DLawBench的整体架构包括四种客户行为类型（合作型、依赖型、退缩型和对抗型），并结合461个案例、5,532个事实条目、3,411个询问标准和3,348个问题解决标准，形成一个系统的评估体系。

关键创新：DLawBench的最大创新在于其针对法律咨询的多轮互动设计，填补了现有基准测试的空白，能够更真实地反映LLMs在法律场景中的应用效果。

关键设计：在实验中，使用了多种评估指标来衡量模型的表现，包括法律推理的准确性和客户互动的有效性，确保了评估的全面性和科学性。实验还揭示了模型在客户需要指导时表现不佳的现象。

📊 实验亮点

实验结果显示，最佳模型GPT-5.5在咨询基础的法律推理上仅达到0.562，表明在法律咨询的多轮互动中仍有显著的提升空间。DLawBench揭示了法律咨询中的谄媚现象，模型在客户最需要指导时表现反而更差，强调了模型设计中的重要性。

🎯 应用场景

DLawBench的研究成果可广泛应用于法律服务领域，尤其是在开发智能法律咨询系统时，能够帮助提升模型的互动能力和法律推理水平。未来，该基准测试有望推动法律科技的发展，使得法律服务更加高效和精准。

📄 摘要（原文）

Lawyer-client consultation is a critical starting point for legal services. Effective legal assistance hinges on eliciting sufficient and truthful information from clients in order to devise strategies that best protect their interests. This task requires Large Language Models (LLMs) not only to perform robust legal reasoning, but also to strategically elicit material facts through multi-turn interactions and effectively guide clients with diverse personalities. Yet existing legal benchmarks overlook this interactive capability. To fill this gap, we introduce DLawBench, a diagnostic benchmark for real-world legal consultation. Drawing on realistic client behavior, we characterize lawyer-client interactions into four types: Cooperative, Dependent, Withdrawn, and Adversarial. Using dialogues grounded in real cases, DLawBench evaluates whether LLMs can effectively conduct legal consultation under realistic conditions. DLawBench comprises 461 cases from Chinese and U.S. law, 5,532 paired fact entries, 3,411 inquiry rubrics, and 3,348 issue-resolution rubrics, and evaluates 26 representative LLMs. Systematic experiments show substantial headroom: the best-performing model, GPT-5.5, achieves only 0.562 on consultation-grounded legal reasoning. More importantly, DLawBench exposes both sycophancy in legal consultation and a paradox: models perform worse when clients need guidance most.