Knowledge Distillation across Item and Code Spaces for Parallel Generative Recommendation

📄 arXiv: 2610.32943v1 📥 PDF

作者: Yixuan Xu, Hailin Liu, Linxiang Peng, Can Yang

分类: cs.IR, cs.LG

发布日期: 2026-10-23

备注: 12 pages, 2 figures

💡 一句话要点

提出并行生成推荐的知识蒸馏方法以解决标签监督不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 生成推荐 语义ID 项目分布匹配 代码边际匹配 并行预测 推荐系统

📋 核心要点

  1. 现有的语义ID推荐系统在训练时依赖硬标签，缺乏对替代项目的分布信息，限制了推荐的多样性和准确性。
  2. 本文提出了两种知识蒸馏目标：项目分布匹配（IDM）和代码边际匹配（CMM），以同时预测所有代码位置，增强生成推荐的效果。
  3. 实验结果显示，IDM和CMM方法在多个基准数据集上均显著超越了现有的最先进方法，验证了其有效性。

📝 摘要（中文）

生成推荐系统通过语义ID将每个项目表示为离散代码序列，并预测这些代码以生成推荐。现有的语义ID推荐系统通常使用硬标签进行训练，虽然这种监督能够识别目标，但缺乏关于同一用户历史下替代项目的显式分布信息。为此，本文提出了两种互补的知识蒸馏目标，旨在将项目级预测知识转移到语义ID生成中，从而增强并行生成推荐的效果。实验结果表明，所提方法在基准数据集上均优于现有最先进的方法，IDM在Recall@10上提高了15.39%，CMM在NDCG@10上提高了8.28%。

🔬 方法详解

问题定义：本文旨在解决现有语义ID推荐系统在训练中仅依赖硬标签的问题，导致缺乏对替代项目的分布信息，从而影响推荐效果。

核心思路：提出两种知识蒸馏目标，IDM和CMM，分别通过重建项目分布和匹配代码边际，来有效转移教师模型的软分布知识，同时保持学生模型的并行预测结构。

技术框架：整体架构包括教师模型和学生模型，教师模型提供项目分布信息，学生模型通过并行预测生成代码。IDM通过重建项目分布并与教师模型对齐，CMM则通过固定的项目到代码的映射来匹配代码边际。

关键创新：最重要的创新在于提出了同时预测所有代码位置的蒸馏目标，避免了自回归前缀条件的限制，增强了生成推荐的灵活性和准确性。

关键设计：在损失函数设计上，IDM和CMM分别采用了项目分布重建损失和代码边际匹配损失，确保了教师和学生模型之间的有效知识转移。

📊 实验亮点

实验结果表明，IDM在Recall@10上提高了15.39%，而CMM在NDCG@10上提高了8.28%。这表明所提方法在并行生成推荐中显著优于现有的最先进方法，验证了知识蒸馏在推荐系统中的有效性。

🎯 应用场景

该研究的潜在应用领域包括电子商务推荐系统、内容推荐平台以及社交媒体推荐等。通过增强推荐系统的多样性和准确性，能够提升用户体验和满意度，进而推动商业转化率的提高。未来，该方法也可扩展到其他生成模型的知识蒸馏任务中。

📄 摘要（原文）

Generative recommendation with semantic IDs represents each item as a sequence of discrete codes derived from its semantic representation and predicts these codes to generate recommendations. Existing semantic-ID recommenders are typically trained with hard labels for the observed next item. Although such supervision identifies the target, it provides no explicit distributional information about alternative items conditioned on the same user history. Sequential recommenders can supply this item-level predictive knowledge, but transferring it to semantic-ID generation is challenging because the teacher and student operate in item and code spaces, respectively. We propose two complementary knowledge-distillation objectives for parallel semantic-ID recommenders, which predict all code positions simultaneously without autoregressive prefix conditioning. Item Distribution Matching (IDM) reconstructs a catalogue-level item distribution from the student's parallel code predictions and aligns it with the teacher's item distribution. Code Marginal Matching (CMM) projects the teacher's item probabilities onto each code position using fixed item-to-code assignments, then matches the resulting code marginals to the corresponding student heads. Both objectives transfer the teacher's soft distributional knowledge while preserving the student's parallel prediction structure. Experiments on benchmark datasets show that both methods consistently outperform existing state-of-the-art approaches. On average, IDM improves Recall@10 by 15.39%, while CMM improves NDCG@10 by 8.28%. These results demonstrate that distillation in either reconstructed item space or code-marginal space can substantially strengthen hard-label supervision for parallel generative recommendation.