Human-on-the-Loop Orchestration for AI-Assisted Legal Discovery

📄 arXiv: 2606.19812v1 📥 PDF

作者: Anushree Sinha, Srivaths Ranganathan, Abhishek Dharmaratnakar, Debanshu Das

分类: cs.AI, cs.LG

发布日期: 2026-06-18

💡 一句话要点

提出四层验证架构以解决法律信息检索中的代理失败问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律信息检索 自主代理 四层验证架构 人机协作 特权放弃风险 电子发现 不确定性量化

📋 核心要点

  1. 现有的自主LLM代理在法律信息检索中存在多步骤推理链错误传播的问题，可能导致法律失误。
  2. 论文提出了一种四层验证架构，涵盖规划、推理、执行和不确定性量化，以拦截代理失败。
  3. 实验结果表明，强制人机协作的升级阈值能够将特权放弃风险降低61%，并减少律师审查的文档数量。

📝 摘要（中文）

自主大型语言模型（LLM）代理在电子发现（e-discovery）中的应用日益增多，但多步骤推理链中的错误可能导致法律失误。本文提出了一种结构化的代理失败分类法，并引入了一个四层验证架构，旨在在错误传播之前拦截这些失败。此外，研究通过模拟实验表明，强制人机协作的升级阈值能够显著降低特权放弃风险，结果显示，相较于完全自主的基线，风险降低可达61%。

🔬 方法详解

问题定义：本文旨在解决在法律信息检索中，代理工作流因早期错误导致的“轨迹崩溃”问题。现有方法在多步骤推理中容易出现错误传播，影响整个特权审查的有效性。

核心思路：论文提出的四层验证架构通过在不同功能阶段进行验证，旨在及时识别和拦截潜在的代理失败，从而减少错误的累积和影响。

技术框架：该架构包括四个主要模块：规划、推理、执行和不确定性量化。每个模块负责不同的功能，通过层层验证确保信息检索的准确性和有效性。

关键创新：最重要的创新在于提出了结构化的代理失败分类法，并结合四层验证架构，有效地解决了现有方法中未能及时识别错误的问题。

关键设计：在设计中，设置了强制人机协作的升级阈值，并通过不确定性量化来评估文档的风险，确保只有必要的文档被送往律师审查。

📊 实验亮点

实验结果显示，采用强制人机协作的升级阈值后，特权放弃风险降低了61%，同时仅有不到四分之一的文档需要送往律师审查。这一结果表明，新的验证架构在实际应用中具有显著的优势。

🎯 应用场景

该研究在法律领域具有广泛的应用潜力，尤其是在电子发现过程中。通过引入人机协作的机制，可以有效降低法律失误的风险，提高法律信息检索的准确性和效率，未来可能对法律技术行业产生深远影响。

📄 摘要（原文）

Autonomous Large Language Model (LLM) agents are increasingly deployed in electronic discovery (e-discovery), where compounding errors across multi-step reasoning chains can constitute legal malpractice. Unlike single-turn retrieval, agentic workflows operating over privileged document corpora exhibit a class of failure we term "trajectory collapse": an early misclassification silently propagates, rendering an entire privilege review invalid. This paper makes three contributions. First, we propose a structured taxonomy of agentic failures in legal information retrieval, organized by functional stage. Second, we introduce a four-layer verification architecture -- spanning planning, reasoning, execution, and uncertainty quantification -- designed to intercept these failures before they compound. Third, we present a preliminary simulation study on a synthetic e-discovery corpus that demonstrates how mandatory Human-on-the-Loop (HOTL) escalation thresholds reduce privilege-waiver risk relative to fully autonomous baselines. Our results suggest that calibrated uncertainty thresholds can reduce privilege-waiver risk by up to 61% versus fully autonomous deployment, while routing fewer than one quarter of documents to attorney review.