TRWH: A Text-Driven Random Walk Heterogeneous GNN for Semantic-Aware Sparse Recommendation

📄 arXiv: 2607.25471v1 📥 PDF

作者: He Ma, Chen Liu

分类: cs.AI, cs.MM

发布日期: 2026-07-28

💡 一句话要点

提出TRWH以解决稀疏推荐中的语义精度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图神经网络 大型语言模型 推荐系统 稀疏数据 随机游走 异构图 语义精度

📋 核心要点

  1. 现有推荐系统在稀疏数据环境中难以有效整合结构和语义信号，导致推荐精度不足。
  2. TRWH通过融合LLM生成的文本特征与异构图结构，利用随机游走增强稀疏图的表示能力。
  3. 在Amazon-2023时尚和美容数据集上，TRWH分别实现了80.0%和52.6%的RMSE和MAE降低，显示出显著的性能提升。

📝 摘要（中文）

图神经网络（GNN）和大型语言模型（LLM）在推荐系统中各自通过建模结构和语义信号取得了进展。然而，在稀疏环境中整合它们的互补优势仍然具有挑战性，尤其是在保持语义精度方面。本文提出了TRWH（文本驱动随机游走异构图神经网络），该框架通过战略性随机游走增强，将LLM生成的文本特征与异构图结构融合。TRWH包括三个核心组件：用户和物品表示的嵌入创建、跨多关系边传播信息的异构图神经网络（HeteroGNN）以及通过随机游走构建的路径，丰富稀疏图的用户-用户和物品-物品链接。实验结果表明，TRWH在Amazon-2023时尚和美容数据集上显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决在稀疏推荐场景中，如何有效整合图神经网络和大型语言模型的优势，以提高推荐的语义精度。现有方法在稀疏数据下难以保持语义信息的完整性，导致推荐效果不佳。

核心思路：TRWH的核心思路是通过随机游走增强异构图的结构，结合LLM生成的文本特征，提升用户和物品的表示能力，从而改善推荐效果。这样的设计旨在充分利用文本信息和图结构的互补性。

技术框架：TRWH的整体架构包括三个主要模块：嵌入创建模块负责生成用户和物品的表示，异构图神经网络模块用于信息传播，随机游走路径构建模块则用于增强稀疏图的连接性。

关键创新：TRWH的关键创新在于将LLM生成的文本特征与异构图结构结合，并通过随机游走增强图的表示能力。这一方法与传统的推荐系统相比，能够更好地捕捉用户和物品之间的复杂关系。

关键设计：在设计中，使用Word2Vec和LLM进行嵌入创建，异构图神经网络采用多关系边进行信息传播，随机游走则通过构建二阶链接来丰富稀疏图的结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Amazon-2023时尚和美容数据集上，TRWH显著提高了推荐性能，Fashion数据集上RMSE降低了80.0%，MAE降低了52.6%；在Beauty数据集上，分别提高了25.7%和10.8%。这些结果表明TRWH在稀疏推荐任务中的有效性和优势。

🎯 应用场景

TRWH的研究成果在电子商务、社交网络和内容推荐等领域具有广泛的应用潜力。通过提高推荐系统的语义精度，能够更好地满足用户需求，提升用户体验，进而推动商业转化率的提升。未来，该方法还可以扩展到其他需要处理稀疏数据的场景，如个性化广告和社交推荐等。

📄 摘要（原文）

Graph Neural Networks (GNNs) and Large Language Models (LLMs) have each advanced recommendation systems by modeling structural and semantic signals, respectively. However, integrating their complementary strengths remains challenging, particularly in sparse settings where maintaining semantic precision is critical. We propose TRWH (Text-driven Random Walk Heterogeneous Graph Neural Network), a novel framework that fuses LLM-generated textual profiles with heterogeneous graph structures through strategic random walk augmentation. TRWH consists of three core components: (1) Embedding Creation, which produces user and item representations using both Word2Vec and LLM-based profiling; (2) a Heterogeneous Graph Neural Network (HeteroGNN) that propagates information across multi-relational edges; and (3) Random Walk-based Path Construction, which enriches sparse graphs with second-order user-user and item-item links. Experiments on the Amazon-2023 Fashion (2M users, 825K items) and Beauty (631K users, 112K items) datasets demonstrate that TRWH achieves substantial performance gains over state-of-the-art methods, including 80.0% RMSE and 52.6% MAE reductions on Fashion, and 25.7% and 10.8% improvements on Beauty. Notably, while random walks improve performance with traditional embeddings, they can dilute the nuanced representations learned by LLMs, underscoring the importance of adaptive integration strategies.