Large Language Models "Ad Referendum": How Good Are They at Machine Translation in the Legal Domain?

📄 arXiv: 2402.07681v1 📥 PDF

作者: Vicent Briva-Iglesias, Joao Lucas Cavalheiro Camargo, Gokhan Dogru

分类: cs.CL, cs.AI

发布日期: 2024-02-12

💡 一句话要点

评估大型语言模型在法律领域机器翻译的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器翻译 大型语言模型 法律领域 人工评估 自动评估 翻译质量 专业术语 上下文处理

📋 核心要点

  1. 现有的机器翻译方法在法律领域的专业术语和上下文处理上存在不足，导致翻译质量不稳定。
  2. 本研究通过结合自动评估和专业翻译人员的人工评估，全面评估LLMs在法律翻译中的表现。
  3. 实验结果显示，尽管LLMs在自动评估中表现不如传统系统，但在人工评估中却获得了更高的流畅性和适当性评分。

📝 摘要（中文）

本研究评估了两种先进的大型语言模型（LLMs）在法律领域的机器翻译（MT）质量，并与传统神经机器翻译（NMT）系统进行了比较。通过自动评估指标（AEMs）和专业翻译人员的人为评估（HE），研究考察了翻译的排名、流畅性和适当性。结果表明，尽管Google翻译在AEMs中通常优于LLMs，但人类评估者认为LLMs，尤其是GPT-4，在生成上下文适当和流畅的翻译方面表现相当或略优。这一差异表明LLMs在处理专业法律术语和上下文方面的潜力，强调了人为评估方法在评估MT质量中的重要性。该研究突显了LLMs在专业领域不断发展的能力，并呼吁重新评估传统AEMs，以更好地捕捉LLM生成翻译的细微差别。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在法律领域机器翻译质量评估中的不足，尤其是在处理专业术语和上下文时的挑战。现有的自动评估方法未能准确反映LLMs的翻译能力。

核心思路：通过结合自动评估指标和专业翻译人员的人工评估，全面评估LLMs的翻译质量，特别是其在法律领域的适用性和流畅性。

技术框架：研究采用了双重评估框架，包括自动评估（AEMs）和人工评估（HE）。首先使用AEMs对翻译结果进行初步筛选，然后通过专业翻译人员对选定的翻译进行深入评估。

关键创新：本研究的创新在于强调了人工评估在机器翻译质量评估中的重要性，尤其是在处理法律领域的专业内容时，LLMs的表现可能被传统的自动评估方法低估。

关键设计：在实验中，选择了四个语言对进行评估，使用了多种自动评估指标，并确保参与评估的翻译人员具备法律背景，以提高评估的专业性和准确性。实验设计考虑了翻译的流畅性、适当性和上下文一致性等多个维度。

📊 实验亮点

实验结果显示，尽管Google翻译在自动评估中表现优于LLMs，但在专业翻译人员的评估中，GPT-4的翻译质量被认为相当或略优。此结果强调了LLMs在处理法律文本时的潜力，尤其是在流畅性和适当性方面。

🎯 应用场景

该研究的成果可广泛应用于法律翻译、国际法律事务及相关领域，帮助法律专业人士更好地理解和使用机器翻译工具。同时，研究结果也为机器翻译系统的改进提供了重要参考，推动其在专业领域的应用和发展。

📄 摘要（原文）

This study evaluates the machine translation (MT) quality of two state-of-the-art large language models (LLMs) against a tradition-al neural machine translation (NMT) system across four language pairs in the legal domain. It combines automatic evaluation met-rics (AEMs) and human evaluation (HE) by professional transla-tors to assess translation ranking, fluency and adequacy. The re-sults indicate that while Google Translate generally outperforms LLMs in AEMs, human evaluators rate LLMs, especially GPT-4, comparably or slightly better in terms of producing contextually adequate and fluent translations. This discrepancy suggests LLMs' potential in handling specialized legal terminology and context, highlighting the importance of human evaluation methods in assessing MT quality. The study underscores the evolving capabil-ities of LLMs in specialized domains and calls for reevaluation of traditional AEMs to better capture the nuances of LLM-generated translations.