Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning
作者: He Huang, Lu Shen, Yunfeng Huang, Li Qi
分类: cs.LG, stat.ML
发布日期: 2026-07-05
💡 一句话要点
提出角色感知神经凸散度头以解决非对称表示学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 表示学习 有向关系 神经网络 凸散度 角色感知 Bregman散度 语义分析 本体学习
📋 核心要点
- 现有方法在处理有向关系时，通常采用对称的距离度量，无法有效捕捉方向性特征。
- 本文提出的角色感知神经凸散度头通过源角色和目标角色投影，增强了对有向关系的建模能力。
- 实验结果显示，角色感知投影在多个基准测试中显著提高了方向准确性，尤其是在语义和本体任务上。
📝 摘要（中文）
许多表示学习问题涉及有向关系，如词汇蕴涵、句子蕴涵、本体层次和引用链接。标准的欧几里得、余弦和马哈拉诺比斯头是对称的，而通用神经评分器可以建模方向性，但提供的几何结构有限。本文提出了一种角色感知神经凸散度头，用于非对称表示学习。该头在评估输入凸神经Bregman散度之前，应用源角色和目标角色投影，从而在角色投影空间中产生非负结构化评分。实验表明，角色感知投影在主要语义和本体基准上，始终提高了方向准确性，同时保持零观察到的负散度率。
🔬 方法详解
问题定义：本文旨在解决在表示学习中对有向关系建模不足的问题。现有的对称距离度量无法有效捕捉源和目标之间的方向性特征，导致性能下降。
核心思路：论文提出的角色感知神经凸散度头通过引入源角色和目标角色投影，构建了一个非负的结构化评分机制，从而更好地反映有向关系的特性。
技术框架：整体架构包括角色投影模块和凸神经Bregman散度评估模块。首先对输入进行角色投影，然后计算投影后的散度，以获得最终的评分。
关键创新：该方法的创新点在于引入了角色感知的投影机制，使得评分不仅考虑了输入的特征，还考虑了其在有向关系中的角色，从而实现了更高的方向性准确性。
关键设计：在网络结构上，采用了投影层和散度计算层，损失函数设计为适应非负评分的需求，同时保持了对方向性的敏感性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在主要的语义和本体基准上，角色感知投影相比于普通的ICNN-Bregman头，方向准确性显著提高，且零观察到的负散度率保持不变。在大型固定特征的引用预测任务中，尽管表现不如某些对称或超曲线基线，但整体表现仍然优越。
🎯 应用场景
该研究在处理具有方向性的表示学习任务中具有广泛的应用潜力，如自然语言处理中的句子蕴涵、知识图谱中的本体关系等。通过提供更准确的方向性评分，该方法能够提升相关任务的性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Many representation learning problems involve directed relations, such as lexical entailment, sentence entailment, ontology hierarchy, and citation links. Standard Euclidean, cosine, and Mahalanobis heads are symmetric, while generic neural scorers can model directionality but provide limited geometric structure. This paper proposes a role-aware neural convex divergence head for asymmetric representation learning. The head applies source- and target-role projections before evaluating an input-convex neural Bregman divergence, yielding a nonnegative structured score in the role-projected space. We characterize its projected-space identity, source-role convexity, directional-gap decomposition, and Hessian-based local curvature. Experiments on lexical, sentence, ontology, and directed graph benchmarks compare symmetric distances, unstructured asymmetric scorers, order/hyperbolic baselines, plain ICNN-Bregman heads, and the proposed role-aware variant. Across ten random seeds on the main semantic and ontology benchmarks, role-aware projections consistently improve directional accuracy over plain ICNN-Bregman heads while preserving zero observed negative divergence rate. The results also identify a boundary case: on large fixed-feature citation prediction, specialized symmetric or hyperbolic baselines remain stronger in ranking accuracy. Overall, the proposed head is best understood as a structured and interpretable plug-in distance module for tasks where directional relations matter.