TW-LegalBench: Measuring Taiwanese Legal Understanding
作者: Fei-Yueh Chen, Chun Huang Lin, Chan Wei Hsu, Kuan Hsuan Yeh, Zih-Ching Chen, Kuan-Ming Chen, Patrick Chung-Chia Huang
分类: cs.CL, cs.AI, cs.IR
发布日期: 2026-06-17
备注: 10 pages, 2 figures, To appear in ICAIL 2026
💡 一句话要点
提出TW-LegalBench以评估台湾法律理解能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律推理 大型语言模型 台湾法律 评估框架 多项选择题 开放式问题 法律判决预测
📋 核心要点
- 现有大型语言模型在特定法域的法律推理能力评估不足，尤其是针对台湾法律的研究较为稀缺。
- TW-LegalBench通过构建多样化的法律任务集，提供了一个评估台湾法律理解能力的框架，填补了这一领域的空白。
- 实验结果显示，尽管顶尖模型在合格律师的标准上表现良好，但在法官和检察官的标准上仍有显著差距，特别是在法律条款引用方面。
📝 摘要（中文）
大型语言模型（LLMs）在多种任务中展现出卓越的能力，但其在特定法域的法律推理表现仍未得到充分探索。本文提出TW-LegalBench，利用台湾法律系统的丰富官方语料库，填补了评估LLMs在台湾法律领域的空白。TW-LegalBench包括三种任务类型：超过16,000道多项选择题（MCQs）、117道开放式论文题（OEQs）和超过14,000个法律判决预测（LJP）实例。我们评估了13个LLMs的表现，结果显示，顶尖模型在合格律师的通过率（11%）上有所超越，但在法官和检察官的通过率（1~2%）上仍显不足。尽管模型在判决类型准确性和句子预测能力上表现合理，但在引用具体法律条款方面存在困难。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在特定法域法律推理能力评估的不足，尤其是针对台湾法律的缺乏有效评估工具。现有方法主要集中于英语和简体中文的法律文本，未能涵盖台湾法律的独特性。
核心思路：TW-LegalBench通过利用台湾法律系统的官方语料库，构建了一个多任务评估框架，涵盖多项选择题、开放式论文题和法律判决预测，以全面评估LLMs在台湾法律领域的表现。
技术框架：TW-LegalBench的整体架构包括三个主要模块：多项选择题（MCQs）、开放式论文题（OEQs）和法律判决预测（LJP）。每个模块都有特定的评估标准和评分机制，以确保评估的全面性和准确性。
关键创新：该研究的创新点在于首次系统性地评估LLMs在台湾法律领域的能力，填补了现有评估工具的空白，并提供了针对特定法域的评估标准。
关键设计：在评估过程中，MCQs采用准确率作为评估指标，OEQs则基于评分标准进行分解评估，而LJP则关注判决准确性和法律条款引用的能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，顶尖模型在合格律师的通过率上达到了11%，但在法官和检察官的标准上仅为1~2%。尽管模型在判决类型的准确性和句子预测能力上表现良好，但在引用具体法律条款方面仍存在显著不足，显示出法律文本生成的挑战性。
🎯 应用场景
TW-LegalBench的研究成果可广泛应用于法律教育、法律技术开发和法律实践中，帮助法律从业者和学者更好地理解和利用大型语言模型在法律领域的潜力。此外，该框架还可为其他法域的类似研究提供参考，推动法律技术的进步。
📄 摘要（原文）
Large language models (LLMs) have shown impressive capabilities across diverse tasks, yet their performance on jurisdiction-specific legal reasoning remains underexplored. We present TW-LegalBench that utilizes Taiwanese legal system's rich official corpus open to the public to fill the gap in evaluating LLMs on Taiwanese law, among common-law benchmarks that focus on English sources and civil-law benchmarks focusing on sources of Simplified Chinese. TW-LegalBench comprises three task types: (1) over 16,000 multiple-choice questions (MCQs) across five years of official examinations in 18 professional domains; (2) 117 open-ended essay questions (OEQs) from examinations for legal professionals with official scoring rubrics; and (3) more than 14,000 legal judgment prediction (LJP) instances covering hundreds of crime categories. We evaluate 13 LLMs using accuracy for MCQs, a decomposed LLM-as-Judge framework based on the scoring rubric points for OEQs, and metrics for sentencing accuracy and statute citation for LJP. Our results reveal that top-performing models exceed the passing threshold for qualified lawyers (passing rate: 11%) but fall short of that for judges and prosecutors (passing rate: 1~2%). For LJP, while models demonstrate reasonable verdict type accuracy and sentence prediction capability, they struggle to cite exact legal articles. These findings highlight that reliable legal text generation remains challenging for LLMs, even though their performance on qualification examinations approaches human level.