Which Models Perform Better in Inheritance Reasoning?

📄 arXiv: 2606.13751v1 📥 PDF

作者: Mohammed Amine Mouhoub, Chahinez Bouchekif

分类: cs.CL

发布日期: 2026-06-11

💡 一句话要点

比较商业与开源模型在继承推理中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 法律推理 大型语言模型 继承案例 商业模型 开源模型 性能评估 多步推理

📋 核心要点

  1. 现有方法在法律推理任务中存在可靠性差异，特别是在复杂的继承案例中表现不佳。
  2. 论文通过统一的提示策略比较商业与开源模型，旨在评估其在法律推理中的有效性。
  3. 实验结果表明，商业模型在推理一致性和准确性上优于开源模型，Gemini 2.5 Flash表现最佳。

📝 摘要（中文）

本文介绍了PSL团队在2026年阿拉伯伊斯兰继承推理共享任务中的参与。该任务评估大型语言模型解决需要法律解释、多步推理和精确数值计算的继承案例的能力。我们在统一的提示策略下比较了商业模型和开源模型，以评估它们在结构化法律推理中的有效性，且几乎没有特定任务的适应。结果显示，两种模型之间的可靠性存在明显差距。商业模型在识别合格继承人、应用排除规则和保持推理步骤一致性方面表现更强，而开源模型在涉及依赖法律决策和分数份额调整的案例中表现出更大的不稳定性。最佳表现由Gemini 2.5 Flash实现，其MRE为0.989。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在阿拉伯伊斯兰继承推理中的表现差异，尤其是商业模型与开源模型在法律推理中的可靠性问题。现有方法在处理复杂的法律推理时，往往缺乏一致性和稳定性。

核心思路：通过统一的提示策略，比较不同类型模型在法律推理任务中的表现，旨在找出最有效的模型类型，以提高推理的准确性和一致性。

技术框架：研究采用了一个统一的提示策略，评估商业模型与开源模型在处理继承案例时的表现，主要模块包括模型选择、数据集构建和性能评估。

关键创新：论文的创新在于系统性地比较了商业与开源模型在法律推理中的表现，揭示了两者在处理复杂法律问题时的本质差异。

关键设计：在实验中，采用了最小化任务特定适应的策略，确保模型在处理继承案例时的推理一致性，使用了多种评估指标来量化模型的性能。

📊 实验亮点

实验结果显示，商业模型在识别合格继承人和应用排除规则方面表现优于开源模型，Gemini 2.5 Flash的MRE达到了0.989，显示出其在复杂法律推理任务中的卓越性能。

🎯 应用场景

该研究的潜在应用领域包括法律咨询、智能合约和自动化法律文书生成等。通过提高模型在法律推理中的表现，可以为法律专业人士提供更高效的工具，减少人工干预，提高工作效率。未来，随着模型性能的提升，可能会在更广泛的法律领域得到应用。

📄 摘要（原文）

This paper presents the participation of team PSL in the QIAS 2026 Shared Task on Arabic Islamic inheritance reasoning. The task evaluates the ability of large language models to solve inheritance cases that require legal interpretation, multi-step reasoning, and precise numerical computation. We compare \textit{commercial} and \textit{open-source} models under a unified prompting strategy to assess their effectiveness in structured legal reasoning with minimal task-specific adaptation. \ Our results show a clear gap in reliability between the two model families. Commercial models demonstrate stronger performance in identifying eligible heirs, applying exclusion rules, and maintaining consistency across reasoning steps. In contrast, open-source models exhibit greater instability, particularly in cases involving dependent legal decisions and fractional share adjustments. The best performance is achieved by \textit{Gemini 2.5 Flash}, with an MRE of $0.989$.