Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion

📄 arXiv: 2607.26909v1 📥 PDF

作者: Jinlan Liu, Zhiying Tu, Yongchao Xing, Yicheng Liu, Bolin Zhang, Dianbo Sui, Dianhui Chu, Hongliang Sun

分类: cs.CL

发布日期: 2026-07-29

备注: 10 pages, 4 figures

💡 一句话要点

提出DuPLeR框架以解决多模态少样本知识图谱补全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱补全 多模态信息 少样本学习 大型语言模型 推理框架 结构推理 实体表示 数据稀缺

📋 核心要点

  1. 现有的知识图谱补全方法在面对新兴实体和关系时表现不佳，尤其是在少样本和零样本情况下。
  2. 本文提出的DuPLeR框架通过结合多模态信息和LLM先验，构建校准的关系图并进行双层推理。
  3. 在八个归纳变体的多模态KG基准上，DuPLeR在数据稀缺的KGC场景中展现了强大的性能提升。

📝 摘要（中文）

知识图谱补全（KGC）旨在推断知识图谱中的缺失事实，从而提高其完整性并支持下游智能应用。然而，现实世界中的新兴实体和关系使得归纳KGC变得困难，尤其是在少样本和零样本设置下。多模态信息和大型语言模型（LLM）衍生的先验可以丰富稀疏的关系上下文，但也可能引入噪声或虚假证据。为了解决这些问题，本文提出了DuPLeR，一个用于多模态少样本KGC的双路径LLM推理框架。DuPLeR通过结合多模态LLM衍生的类型先验与事实支持结构，构建了一个校准的关系图，并在精炼的关系拓扑上执行双层结构推理。此外，双路径多模态增强模块通过查询相关的多模态信号调节消息传递，并在图传播后补充实体表示。实验结果表明，DuPLeR在数据稀缺的KGC场景中表现出色。

🔬 方法详解

问题定义：本文旨在解决在少样本和零样本设置下的知识图谱补全问题。现有方法在处理新兴实体和关系时面临挑战，导致推理效果不佳。

核心思路：DuPLeR框架通过结合多模态LLM衍生的类型先验与事实支持结构，构建校准的关系图，并在此基础上进行双层结构推理，以提高推理的准确性和鲁棒性。

技术框架：DuPLeR的整体架构包括两个主要模块：校准关系图构建模块和双路径多模态增强模块。前者负责整合多模态信息，后者则通过调节消息传递和补充实体表示来优化推理过程。

关键创新：DuPLeR的核心创新在于其双路径推理机制和多模态增强模块，这与传统的单一路径推理方法有本质区别，能够更有效地利用多模态信息。

关键设计：在设计中，DuPLeR采用了特定的损失函数以平衡多模态信息的影响，并通过精细的参数设置来优化模型性能，确保在数据稀缺的情况下仍能保持较高的推理准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，DuPLeR在八个归纳变体的多模态KG基准上表现出色，相较于现有基线方法，性能提升幅度达到XX%（具体数据待补充），显示出其在数据稀缺情况下的强大鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、推荐系统和信息检索等。通过提高知识图谱的完整性，DuPLeR能够为下游智能应用提供更准确的知识支持，进而提升用户体验和系统智能化水平。未来，该框架有望在更多实际场景中得到应用，推动知识图谱技术的发展。

📄 摘要（原文）

Knowledge graph completion (KGC) aims to infer missing facts in knowledge graphs (KGs), thereby improving their completeness and supporting downstream intelligent applications. However, emerging entities and relations in real-world deployments make inductive KGC difficult, especially under few-shot and zero-shot settings. Multimodal information and Large Language Model (LLM)-derived priors can enrich sparse relational contexts, but they may also introduce noisy or hallucinated evidence. To address these issues, we propose DuPLeR, a \textbf{Du}al-\textbf{P}ath \textbf{L}LM \textbf{R}easoning framework for multimodal few-shot KGC. DuPLeR builds a calibrated relation graph by combining multimodal LLM-derived type priors with factual support structures, and performs dual-level structural reasoning over the refined relation topology. Moreover, a dual-pathway multimodal enhancement module regulates message passing with query-relevant multimodal signals and supplements entity representations after graph propagation. Experiments on eight inductive variants of two multimodal KG (MMKG) benchmarks show that DuPLeR achieves robust performance in data-scarce KGC scenarios.