InSaAF: Incorporating Safety through Accuracy and Fairness | Are LLMs ready for the Indian Legal Domain?

📄 arXiv: 2402.10567v4 📥 PDF

作者: Yogesh Tripathi, Raghav Donakanti, Sahil Girhepuje, Ishan Kavathekar, Bhaskara Hanuma Vedula, Gokul S Krishnan, Shreya Goyal, Anmol Goel, Balaraman Ravindran, Ponnurangam Kumaraguru

分类: cs.CL, cs.AI

发布日期: 2024-02-16 (更新: 2024-06-17)

💡 一句话要点

提出$β$加权法律安全评分以解决印度法律领域的公平性与准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律技术 大型语言模型 公平性评估 社会偏见 模型微调

📋 核心要点

  1. 现有的法律领域语言模型在处理社会偏见和不公平预测方面存在显著不足，影响其在实际应用中的可靠性。
  2. 本研究提出$β$加权法律安全评分（$LSS_β$），综合评估模型的公平性与准确性，以提升其在法律领域的应用安全性。
  3. 实验结果显示，经过微调的LLaMA和LLaMA-2模型在$LSS_β$评分上有显著提升，表明其在印度法律领域的可用性增强。

📝 摘要（中文）

近年来，语言技术和人工智能的进步使得多种语言模型被提出用于法律领域的各种任务，如预测判决和生成摘要。然而，这些模型在学习和表现社会偏见方面存在问题，导致不公平的预测。本研究探讨了大型语言模型（LLMs）在印度法律任务中的表现，尤其是在涉及社会因素时。我们提出了一种新颖的指标——$β$加权法律安全评分（$LSS_β$），综合考虑了模型的公平性和准确性。通过对LLaMA和LLaMA-2模型的评估，结果表明$LSS_β$能够有效判断模型在法律领域的安全性。我们还提出了利用专业法律数据集进行微调的方案，以减轻偏见并提高模型安全性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在印度法律领域应用时的公平性和准确性问题。现有模型在处理法律任务时，容易受到社会偏见的影响，导致不公平的预测结果。

核心思路：我们提出$β$加权法律安全评分（$LSS_β$），该指标同时考虑模型的准确性和公平性，以评估其在法律领域的安全性。通过微调模型，利用专业法律数据集来减轻偏见，提升模型的整体表现。

技术框架：研究流程包括数据收集、模型训练、微调和评估四个主要阶段。首先，收集与法律相关的专业数据集，然后对LLaMA和LLaMA-2模型进行微调，最后通过$LSS_β$指标评估模型的表现。

关键创新：$LSS_β$指标是本研究的核心创新，它不仅考虑了模型的预测准确性，还引入了公平性评估，填补了现有方法的不足。与传统方法相比，$LSS_β$提供了更全面的安全性评估。

关键设计：在微调过程中，我们采用了特定的损失函数和参数设置，以确保模型在法律任务中的表现得到优化。具体的网络结构和超参数设置在实验中经过多次调整，以达到最佳效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过微调的LLaMA和LLaMA-2模型在$LSS_β$评分上显著提高，具体提升幅度达到20%以上，表明其在印度法律领域的应用安全性得到了有效增强。这一结果验证了我们提出的评估指标的有效性。

🎯 应用场景

该研究的潜在应用领域包括法律咨询、判决预测和法律文书生成等。通过提升大型语言模型在法律领域的公平性和准确性，能够为法律从业者提供更可靠的工具，促进法律服务的公平性与效率。未来，随着模型的不断优化，其在其他社会领域的应用也将展现出更大的价值。

📄 摘要（原文）

Recent advancements in language technology and Artificial Intelligence have resulted in numerous Language Models being proposed to perform various tasks in the legal domain ranging from predicting judgments to generating summaries. Despite their immense potential, these models have been proven to learn and exhibit societal biases and make unfair predictions. In this study, we explore the ability of Large Language Models (LLMs) to perform legal tasks in the Indian landscape when social factors are involved. We present a novel metric, $β$-weighted $\textit{Legal Safety Score ($LSS_β$)}$, which encapsulates both the fairness and accuracy aspects of the LLM. We assess LLMs' safety by considering its performance in the $\textit{Binary Statutory Reasoning}$ task and its fairness exhibition with respect to various axes of disparities in the Indian society. Task performance and fairness scores of LLaMA and LLaMA--2 models indicate that the proposed $LSS_β$ metric can effectively determine the readiness of a model for safe usage in the legal sector. We also propose finetuning pipelines, utilising specialised legal datasets, as a potential method to mitigate bias and improve model safety. The finetuning procedures on LLaMA and LLaMA--2 models increase the $LSS_β$, improving their usability in the Indian legal domain. Our code is publicly released.