How Many and How Much? Contrastive Learning with Negative Samples for Knowledge Graph Embedding

📄 arXiv: 2610.37389v1 📥 PDF

作者: Sooho Moon, Yunyong Ko

分类: cs.LG

发布日期: 2026-10-27

备注: 12 pages, 12 figures, 5 tables

💡 一句话要点

提出RADAR框架以优化知识图谱嵌入中的负样本学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识图谱嵌入 对比学习 负样本优化 风险感知 分布校准 机器学习 人工智能

📋 核心要点

  1. 现有的知识图谱嵌入方法在负样本的选择和使用上存在不足，未能有效回答负样本数量和贡献的问题。
  2. 本文提出RADAR框架，通过风险感知的负样本预算分配和分布校准的负样本加权来优化负样本的使用。
  3. 实验结果表明，RADAR在多个知识图谱和KGE模型上表现优异，假阴性采样显著减少，提升了整体性能。

📝 摘要（中文）

知识图谱嵌入（KGE）是一种用于知识驱动的Web和KG增强AI应用的基础技术，通常通过对比学习与负样本结合来学习区分性表示。尽管已有成功的经验，但关于负样本的两个关键问题仍未得到充分探讨：每个正样本应使用多少负样本，以及每个负样本对学习的贡献程度。为了解决这些问题，本文提出了RADAR，一个新颖的对比学习框架，包含两种有效策略：风险感知的负样本预算分配和分布校准的负样本加权。通过在三个真实世界的知识图谱上进行广泛实验，RADAR在所有模型-知识图谱组合中平均实现了最佳KGE性能，并将采样的假阴性减少了90%以上。

🔬 方法详解

问题定义：本文旨在解决知识图谱嵌入中负样本的选择与使用问题，现有方法未能有效确定负样本的数量及其对学习的贡献。

核心思路：RADAR框架通过风险感知的负样本预算分配和分布校准的负样本加权来优化负样本的使用，旨在提高学习效率和效果。

技术框架：RADAR框架包括两个主要模块：风险感知的负样本预算分配模块和分布校准的负样本加权模块，前者根据假阴性风险动态分配负样本预算，后者根据负样本得分分布的特征进行加权。

关键创新：RADAR的创新在于引入风险感知的负样本预算分配策略，能够根据每个正样本的风险动态调整负样本的使用，显著提高了学习的有效性。

关键设计：在设计上，RADAR使用了动态的负样本预算分配机制，并通过对负样本得分分布的离散度和集中度进行校准来优化负样本的加权，确保每个负样本的贡献被合理评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RADAR在三个真实世界的知识图谱上与四种KGE模型的组合中，平均性能最佳，假阴性采样减少超过90%，相较于传统的固定预算方法，显著提升了模型的学习效果。

🎯 应用场景

该研究的潜在应用领域包括知识图谱构建、信息检索、推荐系统等，能够提升知识图谱在实际应用中的表现和效率。未来，RADAR框架可能推动更多基于知识图谱的AI应用的发展，促进智能决策和知识发现。

📄 摘要（原文）

Knowledge graph embedding (KGE), a fundamental technique for knowledge-centric Web and KG-augmented AI applications, is commonly trained through contrastive learning with negative samples to learn discriminative representations. Despite its empirical success, two crucial questions regarding negative samples remain underexplored: (Q1) how many negative samples should be used for each positive sample and (Q2) how much should each negative sample contribute to learning? To answer these questions, we propose RADAR, a novel contrastive learning framework for KGE models with two effective strategies, respectively: (1) Risk-aware negative budget allocation quantifies false-negative sampling risk by modeling an open-world KG as a stochastic partial observation of its closed-world counterpart and adaptively assigns a negative budget to each positive sample based on its risk; (2) Distribution-calibrated negative weighting assigns negative weights by calibrating the weighting strength for each positive based on two complementary characteristics of the negative-score distribution: dispersion and concentration. Extensive experiments on 3 real-world KGs with 4 KGE models reveal that RADAR achieves the best KGE performance on average across all model--KG combinations and reduces sampled false negatives by over 90% compared with conventional fixed-budget methods.