BLITZRANK: Principled Zero-shot Ranking Agents with Tournament Graphs

📄 arXiv: 2602.05448v1 📥 PDF

作者: Sheshansh Agrawal, Thien Hang Nguyen, Douwe Kiela

分类: cs.LG

发布日期: 2026-02-05

💡 一句话要点

提出基于锦标赛图的BLITZRANK零样本排序代理，提升排序效率和准确性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 排序学习 大型语言模型 锦标赛图 信息检索

📋 核心要点

  1. 现有LLM重排序方法未能充分利用每次排序决策的信息，或效率低下，限制了其应用。
  2. 提出基于锦标赛图的BLITZRANK框架，通过聚合k文档比较中的成对偏好，构建全局偏好图。
  3. 实验结果表明，BLITZRANK在准确率持平或提升的同时，显著减少了token使用量，提高了排序效率。

📝 摘要（中文）

大型语言模型已成为强大的检索增强生成零样本重排序器，无需特定任务训练即可提供强大的泛化能力。然而，现有的LLM重排序方法要么依赖于未能充分利用每次排序决策所揭示信息的启发式方法，要么效率低下。我们引入了一个锦标赛图框架，为k-wise重排序提供了一个原则性的基础。我们的关键观察是，每个k文档比较揭示了一个完整的锦标赛，包含$inom{k}{2}$个成对偏好。这些锦标赛被聚合到一个全局偏好图中，其传递闭包无需进一步的模型调用即可产生许多额外的排序。我们形式化了一个候选者的排名何时可以被证明是确定的，并设计了一个查询调度，贪婪地最大化信息增益，以识别前m个项目。我们的框架还可以优雅地处理非传递偏好——由LLM判断引起的循环——通过将它们折叠成产生原则性分层排序的等价类。在14个基准测试和5个LLM上进行的实验表明，我们的方法在现有方法上实现了帕累托优势：在匹配或超过准确率的同时，比同类方法所需的token减少25-40%，并且在几乎相同的质量下，比成对方法少7倍。

🔬 方法详解

问题定义：论文旨在解决现有LLM重排序方法在效率和信息利用上的不足。现有方法要么依赖启发式规则，无法充分利用每次排序决策提供的信息，要么在进行大量比较时效率低下，例如pairwise方法需要进行大量的模型调用。这些问题限制了LLM重排序在实际应用中的可行性。

核心思路：论文的核心思路是将k-wise重排序过程建模成一个锦标赛图。每次k文档比较都会产生一个包含$inom{k}{2}$个成对偏好的完整锦标赛。通过将这些局部锦标赛信息聚合到一个全局偏好图中，并利用传递闭包推断出更多的排序关系，从而在减少模型调用的同时，更有效地利用信息。此外，该方法还能优雅地处理LLM判断中可能出现的非传递偏好。

技术框架：BLITZRANK框架主要包含以下几个阶段： 1. k-wise比较：对候选文档集合进行k-wise比较，利用LLM判断文档之间的偏好关系。 2. 构建锦标赛图：将每次k-wise比较的结果构建成一个完整的锦标赛图，其中节点代表文档，边代表文档之间的偏好关系。 3. 聚合全局偏好图：将所有锦标赛图聚合到一个全局偏好图中。 4. 传递闭包推断：利用传递闭包算法，从全局偏好图中推断出更多的排序关系。 5. 查询调度：设计一个查询调度策略，贪婪地选择下一个要进行k-wise比较的文档集合，以最大化信息增益，从而更快地确定top-m个文档。 6. 处理非传递偏好：将由LLM判断引起的循环（非传递偏好）折叠成等价类，从而产生原则性的分层排序。

关键创新：最重要的技术创新点在于将k-wise重排序建模成锦标赛图，并利用传递闭包推断出更多的排序关系。与现有方法相比，BLITZRANK能够更有效地利用每次比较所产生的信息，从而在减少模型调用的同时，提高排序准确率。此外，BLITZRANK还能够优雅地处理非传递偏好，保证排序结果的合理性。

关键设计： * 查询调度策略：论文设计了一种贪婪的查询调度策略，旨在最大化信息增益。具体来说，该策略选择下一个要进行k-wise比较的文档集合，使得能够尽快确定top-m个文档的排名。 * 非传递偏好处理：当出现非传递偏好时，BLITZRANK将循环中的文档折叠成等价类，并为每个等价类分配一个排名。这种方法保证了排序结果的合理性，避免了循环依赖。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BLITZRANK在14个基准测试和5个LLM上实现了帕累托优势，即在匹配或超过现有方法准确率的同时，token使用量减少25-40%，并且在几乎相同的质量下，比成对方法少7倍。这些结果表明BLITZRANK在效率和准确率方面都优于现有方法。

🎯 应用场景

BLITZRANK可应用于各种需要对大量候选文档进行排序的场景，例如信息检索、推荐系统和问答系统。通过提高排序效率和准确性，BLITZRANK可以提升用户体验，并降低计算成本。该研究的未来影响在于推动LLM在排序任务中的更广泛应用，并为其他排序算法的设计提供新的思路。

📄 摘要（原文）

Large language models have emerged as powerful zero-shot rerankers for retrieval-augmented generation, offering strong generalization without task-specific training. However, existing LLM reranking methods either rely on heuristics that fail to fully exploit the information revealed by each ranking decision or are inefficient when they do. We introduce a tournament graph framework that provides a principled foundation for $k$-wise reranking. Our key observation is that each $k$-document comparison reveals a complete tournament of $\binom{k}{2}$ pairwise preferences. These tournaments are aggregated into a global preference graph, whose transitive closure yields many additional orderings without further model invocations. We formalize when a candidate's rank is certifiably determined and design a query schedule that greedily maximizes information gain towards identifying the top-$m$ items. Our framework also gracefully handles non-transitive preferences - cycles induced by LLM judgments - by collapsing them into equivalence classes that yield principled tiered rankings. Empirically, across 14 benchmarks and 5 LLMs, our method achieves Pareto dominance over existing methods: matching or exceeding accuracy while requiring 25-40% fewer tokens than comparable approaches, and 7$\times$ fewer than pairwise methods at near-identical quality.