Can Legal AI Know When It Is Wrong? And Do Students Know When It Is?

📄 arXiv: 2608.21089v1 📥 PDF

作者: Angel Mary John, Vipin Kumar Singh, Jerrin Thomas Panachakel

分类: cs.AI

发布日期: 2026-08-21

💡 一句话要点

提出高置信度错误率以解决法律AI过度自信问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律AI 高置信度错误率 过度自信 法律教育 机器学习

📋 核心要点

  1. 现有的法律AI系统在处理法律裁决时存在过度自信的问题，导致错误判决的风险增加。
  2. 论文提出了高置信度错误率（HCER）作为量化工具，旨在识别和分析法律AI的错误表现。
  3. 实验结果显示，Meta AI在法律案例分析中表现最差，法学生对机器生成的虚假引用的反应也揭示了人类的脆弱性。

📝 摘要（中文）

将大型语言模型（LLMs）整合进印度司法系统虽然能提高司法可及性，但也带来了严重风险。本文识别出一种名为“自信惯性”的现象，类似于邓宁-克鲁格效应，LLMs在提供错误法律裁决时表现出近乎最大自信，原因在于假设的“先例过拟合”偏差。通过对ChatGPT、Meta AI和Perplexity AI进行的60个案例测试，提出了高置信度错误率（HCER）来量化错误裁决。实验结果显示，Meta AI的HCER最高，达到31.7%。第二阶段通过对380名印度法学生的调查，探讨了人类对这种过度自信的脆弱性，提出了转向对抗性法律研究教学法的建议。

🔬 方法详解

问题定义：本文旨在解决法律AI在提供法律裁决时的过度自信问题，现有方法未能有效识别和量化这种现象，导致潜在的法律风险。

核心思路：通过引入高置信度错误率（HCER），论文旨在量化法律AI在错误裁决时的自信程度，从而揭示其潜在的风险和局限性。

技术框架：研究分为两个阶段，第一阶段是对多个LLM进行法律案例测试，第二阶段是对法学生进行调查，分析其对AI生成内容的反应。

关键创新：高置信度错误率（HCER）的提出是本文的核心创新，它为量化法律AI的错误提供了新的视角，与传统的准确率评估方法有本质区别。

关键设计：在实验中，设置了60个案例，评估LLMs在处理印度合同法时的表现，特别关注其对法定更新的适应能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Meta AI的高置信度错误率达到31.7%，而ChatGPT和Perplexity AI分别为6.7%和15.0%。法学生在遇到虚假引用时的验证得分显著高于未遇到者，表明人类在面对AI错误时的脆弱性。

🎯 应用场景

该研究的潜在应用领域包括法律教育、法律实践和AI系统的开发。通过提高对法律AI的理解和使用规范，可以减少法律系统中的错误判决，提升司法公正性和透明度。

📄 摘要（原文）

Integrating Large Language Models (LLMs) into the Indian judiciary promises access to justice but introduces severe risks. We identify the 'inertia of confidence'--an overconfidence phenomenon analogous to the Dunning-Kruger effect where LLMs provide incorrect legal verdicts with near-maximum confidence, driven by a hypothesized 'precedent overfitting' bias. Phase I of our socio-technical audit tested ChatGPT (GPT-5.2), Meta AI, and Perplexity AI on a 60-case battery regarding the Indian Contract Act, 1872, and the shift toward statutory enforcement of specific performance. We introduce the High-Confidence Error Rate (HCER) to quantify incorrect verdicts delivered with dangerous certainty (>= 9 on a 1-10 scale). All models struggled with statutory updates. Meta AI proved most vulnerable (31.7% HCER), frequently misapplying pre-amendment rules with a 9.1/10 mean confidence, followed by Perplexity (15.0%) and ChatGPT (6.7%). Phase II investigated human vulnerability to this overconfidence via a survey of Indian law students (N=380). Verification often functions as a reactive adaptation to machine hallucinations: students encountering fabricated citations reported higher verification scores (4.2/5) than those with no such encounters (2.8/5). Furthermore, while 81.6% knew submitting hallucinated cases can lead to contempt-of-court, 71.1% received no formal training on ethical AI use. We propose shifting toward adversarial legal research pedagogy and implementing source-grounded verification architectures to prevent systemic professional negligence.