Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models

📄 arXiv: 2401.01301v2 📥 PDF

作者: Matthew Dahl, Varun Magesh, Mirac Suzgun, Daniel E. Ho

分类: cs.CL, cs.AI, cs.CY

发布日期: 2024-01-02 (更新: 2024-06-21)

期刊: Journal of Legal Analysis 16, no. 1 (2024): 64-93

DOI: 10.1093/jla/laae003

💡 一句话要点

提出法律幻觉分类以解决大型语言模型的法律准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律幻觉 大型语言模型 法律技术 文本生成 模型评估 法律实践 人工智能伦理

📋 核心要点

  1. 现有大型语言模型在法律领域的应用面临法律幻觉问题，导致输出与法律事实不符，影响法律实践的可靠性。
  2. 论文提出了一种法律幻觉的分类法，为未来的研究提供了概念框架，并系统性地记录了LLMs在不同情况下的表现。
  3. 研究发现，法律幻觉的发生率高达88%，并且LLMs在纠正用户错误假设方面表现不佳，提示法律应用中的潜在风险。

📝 摘要（中文）

大型语言模型（LLMs）在法律实践、教育和研究中的应用日益增加，但其潜在的革命性受到法律幻觉的威胁，即与法律事实不一致的文本输出。本文首次系统性地证实了这些幻觉，记录了LLMs在不同法域、法院、时间段和案件中的表现差异。我们提出了法律幻觉的分类法，发现法律幻觉的发生率令人担忧，ChatGPT 4和Llama 2在特定可验证问题上的幻觉发生率分别为58%和88%。此外，LLMs在反事实问题设置中常常未能纠正用户的错误法律假设，并且无法总是预测何时产生法律幻觉。我们的研究警示在法律任务中快速且无监督地整合LLMs的风险，尤其是对那些最能从中受益的自我辩护诉讼者。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在法律领域中产生法律幻觉的问题，现有方法未能有效识别和纠正这些幻觉，导致法律信息的不准确性。

核心思路：通过开发法律幻觉的分类法，本文为未来研究提供了一个系统的框架，帮助识别和分析LLMs在法律问题上的表现。

技术框架：研究通过对不同法域、法院和案件的分析，构建了一个评估LLMs法律输出准确性的框架，包含数据收集、分类和性能评估等主要模块。

关键创新：最重要的创新在于首次系统性地记录和分类法律幻觉，揭示了LLMs在法律应用中的潜在风险，尤其是在特定问题上的高发生率。

关键设计：研究中使用了特定的可验证问题来测试LLMs的输出，并分析了它们在纠正用户错误假设时的表现，揭示了模型在法律推理中的局限性。

📊 实验亮点

实验结果显示，ChatGPT 4和Llama 2在回答特定法律问题时，法律幻觉的发生率分别为58%和88%。此外，LLMs在反事实问题中未能有效纠正用户的错误假设，显示出其在法律推理中的局限性。

🎯 应用场景

该研究的潜在应用领域包括法律咨询、教育和研究，能够帮助法律从业者和研究人员更好地理解和利用大型语言模型。同时，研究结果也为法律技术的发展提供了重要的警示，促使对LLMs的使用进行更严格的监管和验证。

📄 摘要（原文）

Do large language models (LLMs) know the law? These models are increasingly being used to augment legal practice, education, and research, yet their revolutionary potential is threatened by the presence of hallucinations -- textual output that is not consistent with legal facts. We present the first systematic evidence of these hallucinations, documenting LLMs' varying performance across jurisdictions, courts, time periods, and cases. Our work makes four key contributions. First, we develop a typology of legal hallucinations, providing a conceptual framework for future research in this area. Second, we find that legal hallucinations are alarmingly prevalent, occurring between 58% of the time with ChatGPT 4 and 88% with Llama 2, when these models are asked specific, verifiable questions about random federal court cases. Third, we illustrate that LLMs often fail to correct a user's incorrect legal assumptions in a contra-factual question setup. Fourth, we provide evidence that LLMs cannot always predict, or do not always know, when they are producing legal hallucinations. Taken together, our findings caution against the rapid and unsupervised integration of popular LLMs into legal tasks. Even experienced lawyers must remain wary of legal hallucinations, and the risks are highest for those who stand to benefit from LLMs the most -- pro se litigants or those without access to traditional legal resources.