MuSID-KD: Multigranularity Knowledge Distillation for Generative Recommendation with Semantic IDs

📄 arXiv: 2610.35218v1 📥 PDF

作者: Fengshi Zhang, Xiyan Ding, Shuxiao Xie, Wei Zhang

分类: cs.AI

发布日期: 2026-10-26

备注: 12 pages, including appendix

💡 一句话要点

提出MuSID-KD以解决生成推荐中的知识蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成推荐 知识蒸馏 语义ID 层次对齐 排名优化 轻量级模型 推荐系统

📋 核心要点

  1. 现有生成推荐方法在多SID位置的解码过程中存在高推理成本，影响了实际应用。
  2. MuSID-KD通过层次候选分布对齐和排名影响引导的逐层蒸馏，优化了知识蒸馏过程，提升了推荐性能。
  3. 实验结果表明，使用三种轻量级学生架构的推荐准确性显著提高，且对齐了前缀边际分布和成对项目排名。

📝 摘要（中文）

生成推荐中的语义ID（SID）通过离散标记序列表示每个项目，并自回归地预测下一个项目的SID。尽管推荐性能强大，但在多个SID位置的重复解码导致了显著的推理成本。知识蒸馏将知识从强大的生成教师转移到轻量级学生，但传统目标未能充分考虑多标记SID生成。我们提出MuSID-KD，结合了层次候选分布对齐（HCDA）和排名影响引导的逐层蒸馏（RIGD），有效提升了推荐准确性和候选分布的对齐，且未修改学生的在线推理架构。

🔬 方法详解

问题定义：论文旨在解决生成推荐中知识蒸馏的不足，特别是在多标记SID生成过程中，现有方法未能有效对齐候选分布和排名信息，导致推荐性能受限。

核心思路：提出MuSID-KD，通过层次候选分布对齐（HCDA）和排名影响引导的逐层蒸馏（RIGD），以更好地保留教师模型的知识，提升学生模型的推荐能力。

技术框架：MuSID-KD的整体架构包括两个主要模块：HCDA用于对齐候选分布，RIGD用于优化排名损失。HCDA通过共享SID前缀聚合项目概率，逐层对齐候选分布；RIGD则通过评估学生和教师模型在成对排名损失上的差异，进行有针对性的监督。

关键创新：HCDA和RIGD的结合是本研究的核心创新，HCDA通过层次化的方式对齐候选分布，而RIGD则关注于排名损失的优化，这与传统的知识蒸馏方法形成了鲜明对比。

关键设计：在损失函数设计上，RIGD通过替换学生得分贡献来评估排名损失的减少，并据此分配监督信号，确保学生模型在推理过程中能够更好地学习教师模型的知识。

📊 实验亮点

实验结果显示，MuSID-KD在真实世界推荐数据集上显著提高了推荐准确性，相较于基线方法，推荐性能提升幅度达到X%（具体数据待补充），同时保持了学生模型的在线推理架构不变。

🎯 应用场景

该研究的潜在应用领域包括电子商务、内容推荐和社交媒体等生成推荐系统。通过提升推荐准确性和效率，MuSID-KD能够为用户提供更个性化的推荐体验，进而提高用户满意度和平台的商业价值。

📄 摘要（原文）

Generative recommendation with semantic IDs (SIDs) represents each item as a sequence of discrete tokens and autoregressively predicts the next item's SID. Despite strong recommendation performance, repeated decoding over multiple SID positions incurs substantial inference cost. Knowledge distillation transfers knowledge from a powerful generative teacher to a lightweight student, yet conventional objectives do not fully account for multi-token SID generation. We identify two limitations: item-level distribution alignment may not adequately preserve the teacher's ranking of candidate groups sharing SID prefixes, while uniform alignment across SID positions may affect final item ranking differently. We propose MuSID-KD, which combines Hierarchical Candidate Distribution Alignment (HCDA) and Ranking Impact Guided Levelwise Distillation (RIGD). HCDA aggregates item probabilities according to shared SID prefixes and aligns candidate distributions at successive levels, from candidate groups to individual items. RIGD evaluates the reduction in pairwise ranking surrogate loss when one student score contribution is replaced with the teacher's contribution, and allocates supervision accordingly. Experiments on real-world recommendation datasets using three lightweight student architectures demonstrate improved recommendation accuracy and better alignment of prefix marginal distributions and pairwise item rankings, without modifying the student's online inference architecture. Code is available at https://anonymous.4open.science/r/m7k2-review-83f9/.