Leveraging Large Language Models for Learning Complex Legal Concepts through Storytelling
作者: Hang Jiang, Xiajie Zhang, Robert Mahari, Daniel Kessler, Eric Ma, Tal August, Irene Li, Alex 'Sandy' Pentland, Yoon Kim, Deb Roy, Jad Kabbara
分类: cs.CL, cs.HC
发布日期: 2024-02-26 (更新: 2024-07-02)
备注: Accepted to ACL 2024
💡 一句话要点
利用大型语言模型通过讲故事学习复杂法律概念
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 法律教育 大型语言模型 故事讲述 数据集构建 随机对照试验
📋 核心要点
- 现有法律教育方法难以让非专业人士理解复杂法律概念，缺乏有效的教学工具。
- 论文提出利用大型语言模型生成法律故事，通过故事化的方式帮助非专家学习法律概念。
- 实验结果表明，LLM生成的故事显著提高了参与者对法律概念的理解和兴趣，尤其是非母语者的学习效果更佳。
📝 摘要（中文）
使法律知识对非专业人士可及对于提升法律素养和促进民主参与至关重要。然而，法律文件对缺乏法律背景的人来说往往难以理解。本文提出了一种大型语言模型（LLMs）在法律教育中的新应用，通过讲故事这一有效的教学工具，帮助非专家学习复杂的法律概念。我们还引入了一个新的数据集LegalStories，包含294个复杂法律原则，每个原则附有一个故事和一组由LLMs生成的多项选择题。通过随机对照试验（RCT），我们评估了讲故事的有效性，发现LLM生成的故事在增强法律概念理解和兴趣方面表现优于仅提供定义，尤其对非母语者的学习效果显著。
🔬 方法详解
问题定义：本文旨在解决法律知识对非专业人士的可及性问题，现有法律教育方法往往难以传达复杂的法律概念，导致法律素养不足。
核心思路：通过大型语言模型生成法律故事，利用故事的叙述性和趣味性，使复杂的法律概念更易于理解和记忆。该方法结合了故事讲述的教育优势与LLMs的生成能力。
技术框架：整体流程包括数据集构建、故事生成和多项选择题设计。首先，利用不同的LLMs生成法律故事，然后通过专家反馈迭代设计多项选择题，最后进行随机对照试验评估效果。
关键创新：最重要的创新在于将LLMs应用于法律教育，通过故事化的方式提升法律概念的理解和记忆，与传统的定义学习方法形成鲜明对比。
关键设计：在数据集构建中，选择294个复杂法律原则，并为每个原则生成相应的故事和问题，采用专家反馈机制确保问题质量，设计了适合非专业人士的多项选择题。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLM生成的故事在法律概念理解和兴趣提升方面显著优于传统定义学习，特别是在非母语者中，学习后的保留率更高，表明故事化学习的有效性。
🎯 应用场景
该研究的潜在应用领域包括法律教育、公共法律知识普及以及其他需要复杂概念传达的领域。通过故事化的学习方式，可以有效提升公众的法律素养，促进法律知识的传播与理解，未来可能影响法律教育的教学方法和内容设计。
📄 摘要（原文）
Making legal knowledge accessible to non-experts is crucial for enhancing general legal literacy and encouraging civic participation in democracy. However, legal documents are often challenging to understand for people without legal backgrounds. In this paper, we present a novel application of large language models (LLMs) in legal education to help non-experts learn intricate legal concepts through storytelling, an effective pedagogical tool in conveying complex and abstract concepts. We also introduce a new dataset LegalStories, which consists of 294 complex legal doctrines, each accompanied by a story and a set of multiple-choice questions generated by LLMs. To construct the dataset, we experiment with various LLMs to generate legal stories explaining these concepts. Furthermore, we use an expert-in-the-loop approach to iteratively design multiple-choice questions. Then, we evaluate the effectiveness of storytelling with LLMs through randomized controlled trials (RCTs) with legal novices on 10 samples from the dataset. We find that LLM-generated stories enhance comprehension of legal concepts and interest in law among non-native speakers compared to only definitions. Moreover, stories consistently help participants relate legal concepts to their lives. Finally, we find that learning with stories shows a higher retention rate for non-native speakers in the follow-up assessment. Our work has strong implications for using LLMs in promoting teaching and learning in the legal field and beyond.