LexKairos: Benchmarking Legal Temporal Capabilities in LLMs

📄 arXiv: 2608.09106v1 📥 PDF

作者: Chenyang Li, Zejia Feng, Yuqin Huang, Yuxiao Ye, Huiyuan Xie

分类: cs.CL

发布日期: 2026-08-10

备注: 15 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出LexKairos以评估法律领域LLMs的时间能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律时间推理 大型语言模型 LexKairos 法律AI 时间能力评估

📋 核心要点

  1. 现有法律AI基准对法律时间能力的评估不足，导致LLMs在时间敏感任务中的表现不理想。
  2. LexKairos通过引入法定时间知识、案件时间建模和法条-案件时间推理三个维度，系统性评估LLMs的时间能力。
  3. 实验结果表明，Gemini-3-Flash在整体表现上最强，但在时间敏感的法律任务中仍存在显著局限性。

📝 摘要（中文）

大型语言模型（LLMs）在多种法律任务中表现出色。然而，法律时间能力在现有的法律AI基准中仍未得到充分探索。为填补这一空白，本文提出LexKairos，这是一个全面的基准，旨在评估LLMs在中国法律背景下的时间能力，涵盖法定时间知识、案件时间建模和法条-案件时间推理三个维度。LexKairos包含九个子任务，基于真实的中国司法案例和法规。我们对八个LLMs在多种推理设置下进行了系统评估，结果显示，Gemini-3-Flash的整体表现最佳，但即使是表现最好的模型在需要精确时间敏感的法定元数据回忆或复杂的时间限制推理任务上仍存在显著局限，表明法律时间知识和推理仍然是当前LLMs面临的开放挑战。

🔬 方法详解

问题定义：本文旨在解决现有法律AI基准中对法律时间能力评估不足的问题，特别是在时间敏感的法律任务中LLMs的表现不佳。

核心思路：提出LexKairos基准，通过三个维度（法定时间知识、案件时间建模和法条-案件时间推理）来全面评估LLMs的时间能力，以填补现有研究的空白。

技术框架：LexKairos包含九个子任务，基于真实的中国司法案例和法规，采用多种推理设置（如vanilla、Chain-of-Thought等）对八个LLMs进行评估。

关键创新：LexKairos的创新在于其系统性地评估LLMs在法律时间推理方面的能力，尤其是针对中国法律背景的设计，使其与现有方法有本质区别。

关键设计：在实验中，采用了多种推理模式，并对模型在时间敏感任务中的表现进行了详细分析，揭示了当前LLMs在法律时间知识和推理方面的局限性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Gemini-3-Flash在整体性能上表现最佳，但在需要精确时间敏感法定元数据回忆的任务中仍存在显著局限，表明法律时间知识和推理是LLMs面临的重大挑战。

🎯 应用场景

LexKairos的研究成果可广泛应用于法律智能助手、法律文书自动生成、案件分析等领域，提升法律服务的效率和准确性。未来，该基准还可能推动法律AI领域的进一步研究，促进LLMs在法律时间推理方面的进步。

📄 摘要（原文）

Large language models (LLMs) have demonstrated strong performance across a wide range of legal tasks. In legal practice, time is a critical concept that governs the validity of statutes, the progression of legal cases, and the enforcement of procedural deadlines. However, legal temporal capabilities remain underexplored in existing legal AI benchmarks. To address this gap, we propose LexKairos, a comprehensive benchmark for evaluating the temporal capabilities of LLMs in the Chinese legal context across three dimensions: statutory temporal knowledge, case temporal modeling, and statute-case temporal reasoning. LexKairos comprises nine sub-tasks drawn from real-world Chinese judicial cases and statutes. We conduct systematic evaluations of eight LLMs under multiple inference settings, including vanilla, Chain-of-Thought (CoT), and thinking modes. Our results show that Gemini-3-Flash achieves the strongest overall performance, yet even the best-performing model exhibits notable limitations on tasks demanding precise time-sensitive statutory metadata recall or complex reasoning in time limits, indicating that legal temporal knowledge and reasoning remain open challenges for current LLMs. Data and code are available at https://github.com/thunlp/LexKairos.