T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation

📄 arXiv: 2609.30576v1 📥 PDF

作者: Yang Liu, Noel Loo, Ali Khanafer, Shuying Sun, Akshay Soni, Zhong Wu, Linjun Yang

分类: cs.AI, cs.IR, cs.LG

发布日期: 2026-09-24

💡 一句话要点

提出T-RoPE以解决推荐系统中的时间感知问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 时间感知 旋转位置嵌入 Transformer 序列生成 多尺度频率 用户行为分析 个性化推荐

📋 核心要点

  1. 现有的推荐系统方法未能有效考虑时间因素，导致无法捕捉用户行为的周期性和季节性变化。
  2. 本文提出T-RoPE，通过时间戳角度和可学习的时间系数，增强了旋转位置嵌入的时间感知能力。
  3. 在多个数据集上，T-RoPE在各项指标上均表现优异，尤其在电商数据集上实现了显著的性能提升。

📝 摘要（中文）

随着大规模推荐系统越来越多地采用大型语言模型背后的序列生成方法，Transformer也被引入推荐领域。然而，现有的旋转位置嵌入（RoPE）仅记录事件顺序，未能考虑时间的流逝、行为周期或日历阶段。为此，本文提出了T-RoPE，一种时间感知的RoPE，利用基于时间戳的角度、可学习的时间系数、多尺度频率库、偏移的查询对齐和非平稳的键旋转。实验结果表明，T-RoPE在多个公开基准上均优于现有最强基线，尤其在稀疏数据集PixelRec上提升了78-130%的HR@10，并在工业级电商数据集上提升了13-82%的各项指标。在线A/B测试显示，T-RoPE在转化率和订单数量上均有正向提升。

🔬 方法详解

问题定义：现有的旋转位置嵌入（RoPE）在推荐系统中仅记录事件顺序，无法有效区分时间的流逝和行为周期，导致推荐效果受限。

核心思路：T-RoPE通过引入基于时间戳的角度和可学习的时间系数，打破了RoPE的时间平移不变性，使得模型能够更好地理解用户行为的时间特征。

技术框架：T-RoPE的整体架构包括时间戳角度计算、可学习时间系数的引入、多尺度频率库的构建、查询对齐的偏移处理以及非平稳键的旋转。

关键创新：T-RoPE的主要创新在于其时间感知能力，通过时间戳和多尺度频率的结合，显著提升了推荐系统对季节性和周期性行为的理解，与传统RoPE方法形成鲜明对比。

关键设计：在模型设计中，采用了可学习的时间系数和多尺度频率库，损失函数设计上注重时间特征的捕捉，网络结构上则保持与RoPE接口的一致性，以确保兼容性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个公开基准测试中，T-RoPE在每个数据集的每个指标上均取得最佳结果，尤其在稀疏数据集PixelRec上提升了78-130%的HR@10。在工业级电商数据集上，T-RoPE在各项指标上提升了13-82%，并在在线A/B测试中实现了转化率和订单数量的正向提升，分别为+0.33%和+0.63%。

🎯 应用场景

T-RoPE的研究成果在电商推荐、内容推荐等领域具有广泛的应用潜力。通过更好地理解用户的时间行为，推荐系统能够提供更精准的个性化推荐，从而提升用户体验和转化率。未来，该方法还可以扩展到其他需要时间序列分析的领域，如金融预测和社交网络分析。

📄 摘要（原文）

Large-scale recommenders increasingly adopt the sequential generative recipe behind large language models, bringing the Transformer into recommendation along with design choices made for text, including Rotary Position Embedding (RoPE). In language models, RoPE encodes token indices for relative position reasoning, but in recommendation, an interaction index records only event order, saying nothing about elapsed time, behavioral cycles across scales, or calendar phase. We revisit this choice and propose T-RoPE, a time-aware RoPE for sequential generative recommendation that replaces index-only rotation with timestamp-based angles, learnable temporal coefficients, multiscale frequency banks, shifted query alignment, and non-stationary key rotation. We prove that standard RoPE, even on timestamps, remains time-translation invariant and cannot distinguish seasonal contexts, and that T-RoPE breaks this invariance while preserving the RoPE interface. Across five public benchmarks, T-RoPE achieves the best result on every metric on every dataset, improving over the strongest baseline by 78--130\% in HR@10 on the sparse PixelRec data and 8--12\% across metrics on Amazon Books. On an industrial-scale e-commerce dataset with more than 6B interactions, it improves every metric over the HSTU + Time RAB backbone by 13--82\%, with ablations attributing the largest gains to multiscale frequencies ($+56\%$ NDCG@50) and non-stationary keys ($+4\%$). An online A/B test in the Shop app yields positive lifts in conversion rate ($+0.33\%$) and order count ($+0.63\%$). We also provide forward and backward algorithms whose added cost is linear in sequence length and head dimension, keeping time-aware RoPE practical for large generative recommenders.