Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian

📄 arXiv: 2606.31718v1 📥 PDF

作者: Dragos-Mitrut Vasile, Elena-Simona Apostol, Stefan-Adrian Toma, Adrian Paschke, Ciprian-Octavian Truica

分类: cs.CL, cs.AI

发布日期: 2026-06-30

💡 一句话要点

提出跨语言关系抽取方法以解决罗马尼亚低资源语言问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 关系抽取 跨语言处理 低资源语言 大型语言模型 数据集翻译

📋 核心要点

  1. 低资源语言的关系抽取面临缺乏标注语料的挑战，现有方法难以有效应用于罗马尼亚语。
  2. 本文提出通过LLM翻译和推理结合的方式，探索跨语言关系抽取的可行性，特别是针对罗马尼亚语。
  3. 实验结果表明，QLoRA微调显著提升了F1分数，并缩小了罗马尼亚语与英语之间的性能差距。

📝 摘要（中文）

关系抽取（RE）在低资源语言中通常受到标注语料缺乏的限制。本文探讨了通过结合自动数据集翻译与大型语言模型（LLM）推理，来实现罗马尼亚语的跨语言关系抽取的可行性。我们使用LLM翻译管道将SemEval-2010 Task 8基准从英语翻译为罗马尼亚语，并在零样本、少样本和QLoRA微调配置下评估Gemma 4 31B，比较了四个编码器基线（参数从125M到560M不等）。结果显示，罗马尼亚语在仅使用提示的设置中相较于英语下降了3到5个百分点，少样本提示相较于零样本仅有边际提升，而QLoRA微调在两种语言中均提高了宏F1分数超过22个百分点，同时将跨语言差距从3.3降至1.4个百分点。尽管编码器基线模型参数量小于QLoRA Gemma，但在罗马尼亚语上表现接近，表明在计算资源有限的场景下，使用31B模型的必要性较弱。我们发布了翻译数据集、评估代码和训练模型。

🔬 方法详解

问题定义：本文旨在解决低资源语言（如罗马尼亚语）关系抽取中缺乏标注数据的问题。现有方法在处理此类语言时效果不佳，限制了其应用。

核心思路：通过将英语的关系抽取数据集翻译为罗马尼亚语，并结合大型语言模型进行推理，探索跨语言关系抽取的有效性。此方法利用LLM的强大能力来弥补数据不足的短板。

技术框架：整体流程包括数据集翻译、模型推理和性能评估三个主要阶段。首先，使用LLM翻译管道将英语数据集转换为罗马尼亚语；然后，利用Gemma 4 31B模型进行关系抽取；最后，评估模型在不同配置下的表现。

关键创新：本研究的创新点在于将LLM与自动翻译结合，首次在罗马尼亚语上实现了有效的跨语言关系抽取，并通过QLoRA微调显著提升了模型性能。

关键设计：在实验中，使用了不同参数规模的编码器基线（如XLM-RoBERTa和罗马尼亚BERT），并通过QLoRA微调优化模型，设置了适当的损失函数以提高F1分数。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，QLoRA微调使得宏F1分数在两种语言上提升超过22个百分点，且将跨语言性能差距从3.3个百分点缩小至1.4个百分点。尽管基线模型参数量较小，但在罗马尼亚语上的表现接近QLoRA Gemma，显示出其有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言信息提取、跨语言搜索引擎和低资源语言的自然语言处理任务。通过有效的关系抽取方法，可以提升对罗马尼亚语及其他低资源语言的理解和处理能力，促进相关技术的发展和应用。

📄 摘要（原文）

Relation extraction (RE) for low-resource languages is typically constrained by the lack of annotated corpora. We investigate the feasibility of cross-lingual RE for Romanian by combining automatic dataset translation with large language model (LLM) inference. We translate the SemEval-2010 Task 8 benchmark from English to Romanian using an LLM-based translation pipeline and evaluate Gemma 4 31B under zero-shot, few-shot, and QLoRA fine-tuned configurations, against four encoder baselines spanning 125M to 560M parameters: XLM- RoBERTa (base and large), Romanian BERT, and RoBERT- large. We assess two task formulations: relation classification with marked entities and end-to-end extraction. Our results show that Romanian incurs a 3 to 5 percentage point (pp) drop relative to English in prompt-only settings, that few-shot prompting provides marginal gains over zero-shot, and that QLoRA fine-tuning improves macro F1-Score by more than 22 percentage points in both languages while reducing the cross-lingual gap from 3.3 to 1.4pp. The encoder baselines come within 1-4pp of QLoRA Gemma on Romanian despite being 50-250 times smaller, with monolingual Romanian BERT at 125M parameters matching multilingual XLM-R at 278M. The case for using a 31B model for single-task RE on Romanian is therefore weak in deployment scenarios where compute matters. We release the translated dataset, evaluation code, and trained models.