Linguistically Informed Graph Model and Semantic Contrastive Learning for Korean Short Text Classification

📄 arXiv: 2603.03652v1 📥 PDF

作者: JaeGeon Yoo, Byoungwook Kim, Yeongwook Yang, Hong-Jun Jang

分类: cs.CL

发布日期: 2026-03-04

备注: 16 pages, 1 Figure, Accepted at DASFAA 2026 (Full Research Paper)

💡 一句话要点

LIGRAM：融合语言学知识图模型与语义对比学习的韩语短文本分类方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 韩语短文本分类 图神经网络 语义对比学习 异构图模型 自然语言处理

📋 核心要点

  1. 短文本分类面临上下文信息不足和标注数据稀缺的挑战，尤其是在非英语语种上。
  2. LIGRAM通过构建多粒度图模型，并结合语义对比学习，有效捕捉韩语的语言特性和语义信息。
  3. 实验结果表明，LIGRAM在韩语短文本分类任务中显著优于现有基线模型，验证了其有效性。

📝 摘要（中文）

由于上下文信息和标注数据的稀缺，短文本分类(STC)仍然是一项具有挑战性的任务。然而，现有方法主要集中在英语上，因为STC的大部分基准数据集主要以英语提供。因此，现有方法很少考虑韩语的语言和结构特征，如其粘着语形态和灵活的词序。为了解决这些局限性，我们提出了LIGRAM，一种用于韩语短文本分类的分层异构图模型。该模型构建了语素、词性和命名实体级别的子图，并以分层方式整合它们，以弥补短文本中有限的上下文信息，同时精确地捕捉韩语固有的语法和语义依赖关系。此外，我们应用语义感知对比学习(SemCon)来反映文档之间的语义相似性，使模型即使在类区分通常模糊的短文本中也能建立更清晰的决策边界。我们在四个韩语短文本数据集上评估了LIGRAM，它始终优于现有的基线模型。这些结果验证了将特定于语言的图表示与SemCon集成，为粘着语（如韩语）中的短文本分类提供了一种有效的解决方案。

🔬 方法详解

问题定义：论文旨在解决韩语短文本分类问题。现有方法主要针对英语，忽略了韩语的粘着语特性和灵活的词序，导致无法充分利用韩语的语言学信息，分类效果不佳。

核心思路：论文的核心思路是构建一个能够有效捕捉韩语语言学信息的图模型，并利用语义对比学习增强模型的语义理解能力。通过多粒度图结构，模型可以更好地理解短文本的上下文信息和语义关系。

技术框架：LIGRAM模型包含以下主要模块：1) 多粒度图构建模块：在语素、词性和命名实体级别构建子图；2) 图神经网络编码器：对各个子图进行编码，提取特征；3) 分层图融合模块：将不同粒度的图特征进行融合；4) 语义对比学习模块：通过对比学习，增强模型的语义区分能力；5) 分类器：基于融合后的特征进行分类。

关键创新：LIGRAM的关键创新在于：1) 提出了一个针对韩语的层次化异构图模型，能够有效捕捉韩语的语言学特征；2) 引入了语义对比学习，增强了模型对短文本语义信息的理解能力。与现有方法相比，LIGRAM更充分地利用了韩语的语言学信息，提高了分类精度。

关键设计：在多粒度图构建中，使用了预训练的词嵌入模型来初始化节点特征。在图神经网络编码器中，使用了Graph Attention Network (GAT) 来学习节点之间的关系。在语义对比学习中，使用了InfoNCE损失函数来最大化正样本之间的相似度，最小化负样本之间的相似度。具体参数设置未知。

📊 实验亮点

LIGRAM在四个韩语短文本数据集上进行了评估，实验结果表明，LIGRAM consistently outperforms existing baseline models。具体提升幅度未知，但验证了将语言特定图表示与语义对比学习相结合，为粘着语短文本分类提供有效解决方案。

🎯 应用场景

该研究成果可应用于韩语新闻分类、情感分析、垃圾邮件识别等领域。通过更准确地理解韩语短文本的语义信息，可以提升相关应用的性能和用户体验，具有重要的实际应用价值。未来，该方法可以推广到其他粘着语的短文本分类任务中。

📄 摘要（原文）

Short text classification (STC) remains a challenging task due to the scarcity of contextual information and labeled data. However, existing approaches have pre-dominantly focused on English because most benchmark datasets for the STC are primarily available in English. Consequently, existing methods seldom incorporate the linguistic and structural characteristics of Korean, such as its agglutinative morphology and flexible word order. To address these limitations, we propose LIGRAM, a hierarchical heterogeneous graph model for Korean short-text classification. The proposed model constructs sub-graphs at the morpheme, part-of-speech, and named-entity levels and hierarchically integrates them to compensate for the limited contextual information in short texts while precisely capturing the grammatical and semantic dependencies inherent in Korean. In addition, we apply Semantics-aware Contrastive Learning (SemCon) to reflect semantic similarity across documents, enabling the model to establish clearer decision boundaries even in short texts where class distinctions are often ambiguous. We evaluate LIGRAM on four Korean short-text datasets, where it consistently outperforms existing baseline models. These outcomes validate that integrating language-specific graph representations with SemCon provides an effective solution for short text classification in agglutinative languages such as Korean.