Reasoning Reranking with Semantic IDs as the Sole Item Representation

📄 arXiv: 2610.22797v1 📥 PDF

作者: Zhenwei Tang, Jintao Liu, Di Bai, Xidong Wu, Xinwu Cheng

分类: cs.IR, cs.CL, cs.LG

发布日期: 2026-10-16

备注: 30 pages, 3 figures. Code: https://github.com/lilv98/ReRankID ; data: https://huggingface.co/datasets/lilvjosephtang/ReRankID

💡 一句话要点

提出ReRankID以解决仅用语义ID进行排序的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语义ID 推荐系统 排序算法 后训练 强化学习 用户行为 模型优化

📋 核心要点

  1. 现有推荐系统依赖项目元数据进行排序，导致在仅使用语义ID时性能不足。
  2. 论文提出ReRankID测试平台，专注于从历史和候选项中仅使用SIDs进行推理和排序。
  3. 实验结果显示，经过后训练的模型在SID排序上表现优于随机排序，且在长历史情况下保持优势。

📝 摘要（中文）

本论文探讨了仅使用语义ID（SIDs）进行候选项排序的可行性，现有系统依赖于项目元数据进行推理排序。研究表明，使用SIDs进行排序具有优势，因为其提示信息比匹配的项目文本短，且可以通过用户-项目交互序列学习到行为信号。我们构建了ReRankID测试平台，发现模型在仅使用SIDs时往往复制输入顺序而非重新排序。通过比较多种后训练方法，我们发现强化学习等方法能够有效提升模型的排序能力。最终，经过后训练的8B模型在SID排序上表现优异，超越了传统的文本阅读模型。

🔬 方法详解

问题定义：本论文旨在解决现有推荐系统在仅使用语义ID进行排序时的性能不足，现有方法依赖于可读的元数据，未能有效利用SIDs的潜在信息。

核心思路：论文提出通过构建ReRankID测试平台，探索仅使用SIDs进行排序的可能性，并通过后训练方法提升模型的排序能力。

技术框架：整体架构包括数据输入（历史和候选项的SIDs）、模型推理、排序输出等主要模块。模型在训练过程中通过用户-项目交互序列学习SIDs的嵌入表示。

关键创新：最重要的创新在于通过后训练方法（如强化学习）有效提升模型在仅使用SIDs时的排序能力，与传统依赖文本的排序方法形成鲜明对比。

关键设计：在模型设计中，采用了分级排序奖励作为损失函数，优化了模型的学习过程，确保其在长历史情况下仍能保持较高的排序性能。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，经过后训练的8B模型在仅使用SIDs进行排序时，表现优于随机排序，并在长历史情况下保持优势。该模型的排序性能超越了传统文本阅读模型，显示出显著的提升幅度，尤其在处理超过50k个token的长历史时，仍能保持较好的性能。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、信息检索和智能助手等。通过仅使用语义ID进行排序，可以提高系统的响应速度和效率，降低计算资源消耗，未来可能推动更高效的推荐算法发展。

📄 摘要（原文）

Reasoning rerankers write a rationale before ranking a candidate slate, and existing systems read item metadata to do so, even though generative recommenders increasingly represent items as compact Semantic IDs (SIDs). Ranking from SIDs alone has two appeals: SID prompts are far shorter than the matched item text, and although item codes are fixed from content, the backbone learns their token embeddings in part from user-item interaction sequences, so the tokens can carry behavioral signal that item text lacks. That training targets next-item generation, and whether it supports ranking a supplied slate from SIDs alone is untested. We build ReRankID, a controlled testbed in which models reason and rank from a history and slate shown only as SIDs, varying item rendering, history length, and slate size one at a time. On this testbed, such models often copy the input order instead of reranking, and readable metadata does not repair the failure. We compare supervised fine-tuning, rejection-sampled self-training, on-policy distillation, and verifier-based reinforcement learning as post-training methods and find that they elicit the missing behavior. The strongest post-trained model, the 8B model trained with a graded ranking reward, gives the best SID-only ranking and matches strong text-reading LLMs whose prompts are about 20x longer. It ranks above random with no history at all, where a caption-reading reference does not, and it keeps its gains at long histories, where text prompts pass 50k tokens and the caption-reading reference stops improving. In a paired rationale audit, this model argues trade-offs better than that reference but describes items less accurately. The common post-training methods we test thus elicit ranking from SIDs but not faithful item descriptions, which calls for post-training that improves the reasoning itself, not only the ranking it produces.