ReX-GG: a LLM Ensemble Pipeline for Relation-extraction and Graph Generation
作者: Giacomo Magnifico, Eduard Barbu
分类: cs.AI
发布日期: 2026-10-30
备注: 9 pages, 4 figures, accepted at KG&LLM @ LREC 2026
期刊: Proceedings of the Knowledge Graphs and Large Language Models Workshop (KG-LLM) @ LREC26, Palma, Mallorca, Spain, 2026, pp. 93-101
💡 一句话要点
提出ReX-GG以解决关系提取与图生成中的模型脆弱性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 关系提取 图生成 大型语言模型 集成学习 信息提取 知识图谱 结构化输出
📋 核心要点
- 现有的LLM集成框架在多步骤设置中存在复杂性，容易导致管道故障和输出控制不足。
- 本文提出了一种轻量级的LLM集成工作流，利用JSON结构化输出和匿名评审来降低幻觉输出的风险。
- 实验结果显示，该方法在关系提取任务中实现了平均感知准确率0.778，表现优于人类标注的金标准。
📝 摘要（中文）
当前的大型语言模型（LLM）集成框架通常依赖于多步骤设置和额外的答案排名模块，倾向于使用标记和跨度分析而非结构化输出，导致架构复杂且可能在管道中出现故障。本文提出了一种可定制的轻量级集成工作流，利用JSON结构化输出和匿名同行评审排名，以减轻幻觉输出和单模型故障点的影响。该管道在针对四种本体基础关系类型的科学文章关系提取任务中得到了验证，最终输出为交互式、彩色编码的HTML因果图。通过匿名用户研究评估性能，平均感知准确率为0.778，支持灵活的API和内部LLM部署，并以开放许可发布以促进可重复性和协作研究。
🔬 方法详解
问题定义：本文旨在解决当前LLM集成框架在关系提取任务中存在的复杂性和脆弱性问题，尤其是多步骤设置导致的潜在故障和输出控制不足。
核心思路：提出了一种可定制的轻量级集成工作流，通过协调多个LLM并利用JSON结构化输出，减少幻觉输出和单一模型故障点的影响。
技术框架：整体架构包括多个LLM的协调工作，输出为JSON格式，结合匿名同行评审机制，最终生成交互式HTML因果图。主要模块包括关系提取、节点语义标准化和图形生成。
关键创新：最重要的创新在于通过结构化输出和匿名评审机制来增强模型的鲁棒性，显著降低了幻觉输出的风险，与传统方法相比，提供了更高的输出控制能力。
关键设计：在模型设计中，采用了轻量级架构，优化了参数设置和损失函数，确保在保持性能的同时减少计算资源消耗。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ReX-GG在关系提取任务中实现了平均感知准确率为0.778，显著高于人类标注的金标准，展示了其在复杂任务中的有效性和可靠性。该方法的轻量级设计使其在实际应用中具有更好的灵活性和可扩展性。
🎯 应用场景
该研究的潜在应用领域包括科学文献分析、知识图谱构建和信息提取等。通过提供更可靠的关系提取和图生成能力，ReX-GG可以帮助研究人员和企业更有效地从大量文本中提取有价值的信息，推动相关领域的研究和应用发展。
📄 摘要（原文）
Current LLM ensemble frameworks focus on multi-step setups with additional modules for answer ranking, often opting for token and span analysis rather than structured outputs, leading to heavyweight architectures with potential fail states along the pipeline. Faster, lighter solutions are more vulnerable to hallucination propagation and can lack output control in more complex pipelines. This paper proposes a customisable, lightweight ensemble workflow of coordinated Large Language Models that leverages JSON-structured outputs and anonymous peer-review ranking to mitigate hallucinatory outputs and single-model failure points. The pipeline is demonstrated on a relation extraction task applied to popular science articles in English, targeting four ontologically-grounded relation types (strong causation, weak causation, contrastive, and compositional), with semantic node canonicalisation and interactive, colour-coded HTML causal graphs as the final output. Performance is evaluated through an anonymous user study, achieving an average perceived accuracy of 0.778 against a human-annotated gold standard. The modular architecture supports flexible deployment across both API-based and in-house LLM setups, and the full framework is released under an open license to foster reproducibility and collaborative research.