Reversing Arrows in Large Language Models

📄 arXiv: 2608.03512v1 📥 PDF

作者: Sefika Efeoglu, Adrian Paschke

分类: cs.AI

发布日期: 2026-08-04

备注: The preprint is under review in a venue

💡 一句话要点

系统研究大型语言模型中的逆关系方向性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 逆关系 知识图谱 语义建模 多选提示 实体表示 系统性不对称

📋 核心要点

  1. 现有大型语言模型在处理逆关系时的方向性语义建模存在不确定性，影响其在知识图谱生成中的应用效果。
  2. 本文通过构建包含5,457个实例的基准，系统性地评估了五个开源LLMs在逆关系分类中的表现，探索了关系描述和实体表示的影响。
  3. 实验结果显示，LLMs在逆关系分类中存在系统性不对称，关系描述对性能的提升不一致，且模型对实体表示的变化表现出敏感性。

📝 摘要（中文）

大型语言模型（LLMs）在文本到知识图谱生成等任务中表现出色。然而，它们是否准确建模逆关系的方向性语义仍不明确。本文首次系统研究了LLMs中的逆关系方向性，使用包含5,457个实例和27种逆关系标签的基准进行评估。我们在多选提示框架下评估了五个开源LLMs，并通过替换原始实体为合成和掩蔽实体，进一步考察了关系描述和实体表示的影响。研究发现，LLMs在逆关系分类中存在系统性不对称，关系描述并不总能提高性能，模型性能对实体表示的变化敏感。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在逆关系方向性语义建模中的不足，现有方法未能系统评估其在逆关系分类中的表现和影响因素。

核心思路：通过构建一个包含多种逆关系标签的基准数据集，系统评估LLMs在逆关系分类中的性能，并分析关系描述和实体表示的影响。

技术框架：研究采用多选提示框架对五个开源LLMs进行评估，实验分为原始实体与合成实体的对比，分析不同关系描述对模型性能的影响。

关键创新：首次系统性研究LLMs中的逆关系方向性，揭示了模型在逆关系分类中的系统性不对称性，提供了新的视角来理解LLMs的语义建模能力。

关键设计：实验中使用了5,457个实例和27种逆关系标签，采用了多种实体表示方式，并通过替换原始实体来考察其对模型性能的影响。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在逆关系分类中存在显著的系统性不对称，且关系描述对性能的提升效果不一致。模型对实体表示的变化表现出敏感性，提示在实际应用中需谨慎选择实体表示方式。

🎯 应用场景

该研究为大型语言模型在知识图谱生成和语义理解等领域的应用提供了重要的理论基础，帮助开发更为精准的模型，提升其在复杂语义关系处理中的能力。未来，研究成果可用于改善智能问答系统、信息检索等应用的性能。

📄 摘要（原文）

Large language models (LLMs) have achieved strong performance on text-to-knowledge graph generation and related tasks. Nevertheless, it is still unclear whether they accurately model the direction-dependent semantics of inverse relations, in which reversing the order of the arguments alters the meaning of a relation (e.g., \textit{mother} versus \textit{child}). To the best of our knowledge, this work presents the first systematic study of inverse relation directionality in LLMs, using a benchmark consisting of 5,457 instances spanning 27 distinct inverse relation labels. We evaluate five open-source LLMs under a multiple-choice prompting framework and further examine the influence of relation descriptions and entity representations by substituting the original entities with synthetic and masked entities. Our findings reveal systematic asymmetries in inverse relation classification across LLMs, indicate that relation descriptions do not consistently improve performance, and show that model performance can be sensitive to variations in entity representations.