One Pass, Any Order: Position-Invariant Listwise Reranking for LLM-Based Recommendation

📄 arXiv: 2604.27599v1 📥 PDF

作者: Ethan Bito, Yongli Ren, Estrid He

分类: cs.IR, cs.LG

发布日期: 2026-04-30

备注: Accepted at SIGIR 2026

🔗 代码/项目: GITHUB

💡 一句话要点

InvariRank：提出位置不变列表排序框架，解决LLM推荐排序中的顺序敏感问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM推荐 列表排序 排列不变性 注意力机制 位置编码

📋 核心要点

  1. 现有基于LLM的推荐排序器对输入顺序敏感，导致相同候选集的不同排列产生不同的排序结果，影响推荐的可靠性。
  2. InvariRank通过架构设计，包括结构化注意力掩码和共享位置嵌入，实现排列不变性，确保排序结果不受输入顺序影响。
  3. 实验表明，InvariRank在保持排序效果的同时，显著提高了排序的稳定性，验证了架构不变性在LLM推荐中的有效性。

📝 摘要（中文）

大型语言模型（LLM）越来越多地被用于推荐排序，但它们的列表式预测可能依赖于候选项目的呈现顺序。这在推荐的集合本质与仅解码器LLM的序列计算之间造成了不匹配，因为排列一个原本相同的候选项目集合会改变项目得分和最终排名。这种顺序敏感性使得基于LLM的重排序器难以依赖，因为排名可能反映提示序列化而不是用户偏好。我们提出了InvariRank，一个排列不变的列表式重排序框架，它在架构层面上解决了这种依赖性。InvariRank通过结构化的注意力掩码阻止了跨候选项目的注意力，并通过旋转位置嵌入（RoPE）下的共享位置框架消除了位置引起的分数变化。结合列表式学习排序目标，该模型在单个前向传递中对所有候选项目进行评分，避免了需要候选项目集合的多个排列的基于排列的不变性训练目标。在推荐基准上的实验表明，InvariRank在保持具有竞争力的排序效果的同时，产生了跨候选项目排列的稳定排名。结果表明，架构不变性是可靠且高效的基于LLM的推荐重排序的实用途径。源代码位于https://github.com/ejbito/InvariRank。

🔬 方法详解

问题定义：论文旨在解决基于LLM的推荐排序器中存在的顺序敏感性问题。现有的LLM排序器通常依赖于decoder-only的架构，其序列化的处理方式使得候选物品的排列顺序会显著影响最终的排序结果。这种顺序敏感性与推荐系统本身基于集合的特性相悖，导致排序结果不稳定，难以反映用户的真实偏好。

核心思路：InvariRank的核心思路是通过架构设计实现排列不变性。具体来说，它通过阻止跨候选物品的注意力交互以及消除位置编码带来的分数差异，使得模型对输入顺序不再敏感。这样，无论候选物品以何种顺序输入，模型都能产生一致的排序结果。

技术框架：InvariRank的整体框架基于Transformer架构，但进行了关键修改以实现排列不变性。主要包括以下几个模块：1) 输入嵌入层：将候选物品的特征转化为向量表示。2) 结构化注意力掩码：阻止不同候选物品之间的注意力交互，使得每个物品的表示只依赖于自身特征。3) 共享位置嵌入：使用旋转位置嵌入（RoPE）并对所有候选物品共享位置信息，消除位置编码带来的分数差异。4) 输出层：根据学习排序的目标函数，预测每个候选物品的得分。

关键创新：InvariRank最重要的创新在于其架构层面的排列不变性设计。与传统的通过数据增强或损失函数约束来实现排列不变性的方法不同，InvariRank直接在模型结构上保证了排列不变性，避免了额外的计算开销和训练复杂度。

关键设计：InvariRank的关键设计包括：1) 结构化注意力掩码：通过将注意力矩阵中对应于不同候选物品之间的元素设置为负无穷大，阻止跨物品的注意力交互。2) 共享位置嵌入：使用RoPE对所有候选物品进行位置编码，并共享位置信息，消除位置编码带来的分数差异。3) 列表式学习排序目标：使用如ListNet或LambdaRank等列表式学习排序目标函数，直接优化排序结果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，InvariRank在多个推荐基准数据集上取得了与现有方法相当的排序效果，同时显著提高了排序的稳定性。具体来说，InvariRank在不同候选集排列下的排序结果差异明显小于其他基线模型，验证了其排列不变性的有效性。此外，InvariRank在单次前向传递中即可完成所有候选物品的排序，效率更高。

🎯 应用场景

InvariRank可应用于各种基于LLM的推荐系统，尤其适用于对排序稳定性要求较高的场景，例如电商推荐、新闻推荐等。通过消除顺序敏感性，InvariRank能够提供更可靠和一致的推荐结果，提升用户体验，并减少因排序不稳定而造成的负面影响。该研究为LLM在推荐系统中的应用提供了一种新的思路，具有重要的实际价值和潜在的未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly used for recommendation reranking, but their listwise predictions can depend on the order in which candidates are presented. This creates a mismatch between the set-based nature of recommendation and the sequence-based computation of decoder-only LLMs, where permuting an otherwise identical candidate set can change item scores and final rankings. Such order sensitivity makes LLM-based rerankers difficult to rely on, since rankings may reflect prompt serialization rather than user preference. We propose InvariRank, a permutation-invariant listwise reranking framework that addresses this dependence at the architectural level. InvariRank blocks cross-candidate attention with a structured attention mask and negates position-induced scoring changes through shared positional framing under Rotary Positional Embeddings (RoPE). Combined with a listwise learning-to-rank objective, the model scores all candidates in a single forward pass, avoiding permutation-based invariance training objectives that require multiple permutations of a candidate set. Experiments on recommendation benchmarks show that InvariRank maintains competitive ranking effectiveness while producing stable rankings across candidate permutations. The results suggest that architectural invariance is a practical route to reliable and efficient LLM-based recommendation reranking. The source code is at https://github.com/ejbito/InvariRank.