Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis

📄 arXiv: 2603.04982v1 📥 PDF

作者: Benjamin M. Chen, Hong Bao

分类: cs.CY, cs.AI, cs.HC

发布日期: 2026-03-05

💡 一句话要点

用户培训提升法律分析中生成式AI的采纳和生产力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成式AI 用户培训 法律分析 大型语言模型 采纳率 生产力 随机对照实验

📋 核心要点

  1. 现有方法在知识密集型领域，如法律分析中，生成式AI的可靠性问题阻碍了其广泛应用。
  2. 论文提出通过有针对性的用户培训，提高用户对生成式AI的采纳率和使用效率，从而提升生产力。
  3. 实验结果表明，经过培训的用户在使用LLM时，考试成绩显著提高，证明了培训的有效性。

📝 摘要（中文）

本研究探讨了在专业环境中，有针对性的用户培训是否能释放生成式人工智能（GenAI）的生产潜力。我们进行了一项随机研究，涉及164名法学院学生完成一个问题识别考试。参与者被分配到三种情况之一：无GenAI访问权限、可选择访问大型语言模型（LLM）或可选择访问并接受约十分钟的培训干预。培训显著提高了LLM的采纳率（使用率从26%上升到41%），并提高了考试成绩。接受过培训的学生比未接受培训的学生高出0.27个等级分（p = 0.027），相当于大约三分之一的字母等级。相比之下，没有经过培训就访问LLM并没有提高性能，并且答案比没有访问权限的答案更短。使用主分层，我们将总体效果分解为采纳和有效性渠道。点估计与培训主要通过扩大GenAI的使用范围而不是提高现有用户的有效性来运作相一致，尽管置信区间很宽。总的来说，我们的研究结果提供的证据表明，对用户培训的补充投资对于在知识密集型领域实现GenAI生产力提升至关重要，在这些领域，对可靠性的担忧可能会抑制采纳。

🔬 方法详解

问题定义：论文旨在解决法律分析等知识密集型领域中，生成式AI（GenAI）的采纳率和生产力提升问题。现有方法面临的痛点是，用户由于对GenAI的可靠性存在担忧，导致其采纳率较低，即使使用GenAI，也可能因为缺乏有效的使用方法而无法充分发挥其潜力。

核心思路：论文的核心解决思路是通过提供有针对性的用户培训，提高用户对GenAI的信任度和使用技能，从而促进GenAI的采纳，并提升其在法律分析任务中的生产力。这种方法假设，仅仅提供GenAI工具是不够的，需要配套的培训才能充分发挥其价值。

技术框架：研究采用随机对照实验设计，将164名法学院学生随机分配到三个组：(1) 无GenAI访问权限的对照组；(2) 可选择访问LLM但没有接受培训的实验组；(3) 可选择访问LLM并接受约十分钟培训的实验组。所有学生完成一个问题识别考试，通过比较三组学生的考试成绩和LLM使用情况，评估培训对GenAI采纳率和生产力的影响。研究还使用了主分层方法，将总体效果分解为采纳渠道和有效性渠道。

关键创新：论文的关键创新在于强调了用户培训在GenAI应用中的重要性，并提供实验证据表明，有针对性的培训可以显著提高GenAI的采纳率和生产力。与以往研究主要关注GenAI模型本身的技术改进不同，本研究关注如何通过提升用户能力来更好地利用现有GenAI技术。

关键设计：培训干预的设计是关键。培训内容侧重于如何有效地使用LLM进行法律问题识别，包括如何提出问题、如何评估LLM的回答以及如何将LLM的输出整合到自己的分析中。实验中，使用考试成绩作为衡量生产力的指标，并使用LLM的使用率作为衡量采纳率的指标。主分层方法用于分析培训对不同用户群体的影响。

📊 实验亮点

实验结果表明，接受过培训的学生比未接受培训的学生考试成绩高出0.27个等级分（p = 0.027），相当于大约三分之一的字母等级。培训显著提高了LLM的采纳率，从26%上升到41%。未经培训就访问LLM并没有提高性能，反而导致答案更短。这些数据表明，用户培训是充分发挥GenAI潜力的关键因素。

🎯 应用场景

该研究成果可应用于法律、金融、医疗等知识密集型领域，为企业和教育机构提供关于如何有效部署和利用生成式AI的指导。通过提供有针对性的用户培训，可以提高员工对AI工具的接受度和使用效率，从而提升整体生产力，并降低因误用AI工具而产生的风险。未来，该研究可以扩展到其他类型的AI工具和更广泛的应用场景。

📄 摘要（原文）

Can targeted user training unlock the productive potential of generative artificial intelligence (GenAI) in professional settings? We investigate this question using a randomized study involving 164 law students completing an issue-spotting examination. Participants were assigned to one of three conditions: no GenAI access, optional access to a large language model (LLM), or optional access accompanied by an approximately ten-minute training intervention. Training significantly increased LLM adoption--the usage rate rose from 26% to 41%--and improved examination performance. Students with trained access scored 0.27 grade points higher than those with untrained access (p = 0.027), equivalent to roughly one-third of a letter grade. By contrast, access to an LLM without training did not improve performance and was associated with shorter answers relative to no access. Using principal stratification, we decompose the overall effect into adoption and effectiveness channels. Point estimates are consistent with training operating primarily by expanding the scope of GenAI use rather than by enhancing effectiveness among existing users, though confidence intervals are wide. Overall, our findings provide evidence that complementary investments in user training are critical for realizing GenAI productivity gains in knowledge-intensive fields where concerns about reliability may inhibit adoption.