Exploring Large Language Models and Hierarchical Frameworks for Classification of Large Unstructured Legal Documents

📄 arXiv: 2403.06872v1 📥 PDF

作者: Nishchal Prasad, Mohand Boughanem, Taoufiq Dkaki

分类: cs.CL, cs.AI

发布日期: 2024-03-11

备注: This paper was accepted as a long paper at ECIR 2024. arXiv admin note: substantial text overlap with arXiv:2309.10563

💡 一句话要点

提出MESc框架以解决长法律文档分类问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律文档分类 深度学习 大型语言模型 无监督聚类 判决预测 分层框架 文本嵌入

📋 核心要点

  1. 长法律文档的分类面临结构不均匀和缺乏结构化注释的挑战，现有方法难以有效处理。
  2. 提出的MESc框架通过将文档分段并提取嵌入，结合无监督聚类来近似文档结构，从而提升判决预测能力。
  3. 在ILDC和LexGLUE数据集上进行的实验表明，该方法相比于现有技术至少提升了2个性能点，验证了其有效性。

📝 摘要（中文）

法律判决预测面临长篇案例文档结构不均匀的问题，尤其是在缺乏结构化注释的情况下。本文提出了一种基于深度学习的分层框架MESc（多阶段编码器监督与聚类），用于对这些大型法律文档进行分类。具体而言，我们将文档划分为多个部分，从自定义微调的大型语言模型的最后四层提取其嵌入，并通过无监督聚类近似其结构。我们分析了多亿参数的大型语言模型（如GPT-Neo和GPT-J）在MESc框架下的适应性，并与其在法律文本上的独立性能进行了比较。实验结果显示，该方法在印度、欧盟和美国的法律文档上相较于现有最先进的方法至少提升了约2个点的性能。

🔬 方法详解

问题定义：本文旨在解决长法律文档分类中的结构不均匀性和缺乏结构化注释的问题。现有方法在处理这些文档时表现不佳，难以提取有效信息。

核心思路：提出的MESc框架通过将文档划分为多个部分，利用大型语言模型提取嵌入，并通过无监督聚类来近似文档的结构，从而提高判决预测的准确性。

技术框架：MESc框架包括多个主要模块：首先将文档分段，然后从大型语言模型的最后四层提取嵌入，接着进行无监督聚类以近似结构，最后通过变换器编码器层学习各部分之间的表示。

关键创新：最重要的创新在于将大型语言模型与分层框架结合，利用无监督聚类来处理法律文档的结构问题，这与传统方法的直接分类方式有本质区别。

关键设计：在模型设计中，采用了自定义微调的大型语言模型，并在聚类和嵌入组合中进行了参数优化，确保了模型在法律文本上的有效性和准确性。实验中使用了多种损失函数和网络结构，以提升模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MESc框架在法律文档分类任务中相较于现有最先进的方法至少提升了约2个性能点，验证了其在处理长篇非结构化文本上的有效性。通过对比实验，MESc在多个数据集上均表现出色，特别是在法律领域的适应性和转移学习能力方面。

🎯 应用场景

该研究的潜在应用领域包括法律文书自动分类、法律判决预测和智能法律咨询等。通过提高长法律文档的处理能力，能够为法律行业提供更高效的工具，减少人工审核的工作量，提升法律服务的质量和效率。未来，该框架还可扩展至其他领域的文档分类任务。

📄 摘要（原文）

Legal judgment prediction suffers from the problem of long case documents exceeding tens of thousands of words, in general, and having a non-uniform structure. Predicting judgments from such documents becomes a challenging task, more so on documents with no structural annotation. We explore the classification of these large legal documents and their lack of structural information with a deep-learning-based hierarchical framework which we call MESc; "Multi-stage Encoder-based Supervised with-clustering"; for judgment prediction. Specifically, we divide a document into parts to extract their embeddings from the last four layers of a custom fine-tuned Large Language Model, and try to approximate their structure through unsupervised clustering. Which we use in another set of transformer encoder layers to learn the inter-chunk representations. We analyze the adaptability of Large Language Models (LLMs) with multi-billion parameters (GPT-Neo, and GPT-J) with the hierarchical framework of MESc and compare them with their standalone performance on legal texts. We also study their intra-domain(legal) transfer learning capability and the impact of combining embeddings from their last layers in MESc. We test these methods and their effectiveness with extensive experiments and ablation studies on legal documents from India, the European Union, and the United States with the ILDC dataset and a subset of the LexGLUE dataset. Our approach achieves a minimum total performance gain of approximately 2 points over previous state-of-the-art methods.