Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning
作者: He Huang, Lu Shen, Yunfeng Huang, Li Qi
分类: cs.LG, stat.ML
发布日期: 2026-07-02
💡 一句话要点
提出角色感知神经凸散度头以解决非对称表示学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 表示学习 有向关系 神经网络 Bregman散度 角色感知 非对称模型 语义分析 Ontology
📋 核心要点
- 现有方法在处理有向关系时往往使用对称的距离度量，无法有效捕捉方向性特征。
- 本文提出的角色感知神经凸散度头通过源角色和目标角色投影，提供了一种新的非对称表示学习方法。
- 实验结果显示，角色感知投影在多个基准测试中显著提高了方向准确性，尤其是在语义和Ontology任务上。
📝 摘要（中文）
许多表示学习问题涉及有向关系，如词汇蕴涵、句子蕴涵、Ontology层次和引用链接。标准的欧几里得、余弦和马哈拉诺比斯头是对称的，而通用神经评分器可以建模方向性但几何结构有限。本文提出了一种角色感知神经凸散度头，用于非对称表示学习。该头在评估输入凸神经Bregman散度之前应用源角色和目标角色投影，从而在角色投影空间中产生非负结构化评分。实验结果表明，角色感知投影在主要语义和Ontology基准上始终提高了方向准确性，同时保持零观察到的负散度率。
🔬 方法详解
问题定义：本文旨在解决在表示学习中对有向关系的建模不足，现有的对称距离度量无法有效捕捉方向性特征，导致性能下降。
核心思路：论文提出的角色感知神经凸散度头通过对源角色和目标角色进行投影，利用凸神经Bregman散度来评估输入，从而生成结构化的非负评分，增强了模型对方向性的敏感性。
技术框架：整体架构包括角色投影模块和散度评估模块。首先对输入进行角色投影，然后计算投影后的Bregman散度，最后输出非负评分。
关键创新：该方法的创新在于引入角色感知的投影机制，使得模型能够在有向关系中保持结构化的评分，而不是简单的对称度量。
关键设计：在设计中，采用了特定的损失函数以优化方向准确性，并通过Hessian矩阵分析局部曲率，确保模型在不同任务中的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
在主要的语义和Ontology基准测试中，角色感知投影相较于传统的ICNN-Bregman头在方向准确性上有显著提升，且保持零观察到的负散度率。尽管在大型固定特征的引用预测任务中，某些对称或超曲线基线在排名准确性上表现更强，但整体上该方法展示了良好的方向性建模能力。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的句子蕴涵、知识图谱中的Ontology层次建模以及社交网络中的引用关系分析。通过提供更准确的方向性评分，该方法能够提升相关任务的性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Many representation learning problems involve directed relations, such as lexical entailment, sentence entailment, ontology hierarchy, and citation links. Standard Euclidean, cosine, and Mahalanobis heads are symmetric, while generic neural scorers can model directionality but provide limited geometric structure. This paper proposes a role-aware neural convex divergence head for asymmetric representation learning. The head applies source- and target-role projections before evaluating an input-convex neural Bregman divergence, yielding a nonnegative structured score in the role-projected space. We characterize its projected-space identity, source-role convexity, directional-gap decomposition, and Hessian-based local curvature. Experiments on lexical, sentence, ontology, and directed graph benchmarks compare symmetric distances, unstructured asymmetric scorers, order/hyperbolic baselines, plain ICNN-Bregman heads, and the proposed role-aware variant. Across ten random seeds on the main semantic and ontology benchmarks, role-aware projections consistently improve directional accuracy over plain ICNN-Bregman heads while preserving zero observed negative divergence rate. The results also identify a boundary case: on large fixed-feature citation prediction, specialized symmetric or hyperbolic baselines remain stronger in ranking accuracy. Overall, the proposed head is best understood as a structured and interpretable plug-in distance module for tasks where directional relations matter.