Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking

📄 arXiv: 2607.19747v1 📥 PDF

作者: Kailin Jiang, Lei Liu, Jian Xi, Hui Xu, Junlin Liu, Baochen Fu, Shaoqing Ren, Bin Li, Vichwang, Yu Lu, Haibo Shi

分类: cs.CL

发布日期: 2026-07-22

备注: Project Page: https://rubric4setwise.github.io/

💡 一句话要点

提出Rubric4Setwise以解决文档集选择与排序问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档集评估 信息检索 自然语言生成 重排序方法 评估标准

📋 核心要点

  1. 现有文档集评估方法仅独立评分，无法有效处理文档间的相互作用，导致评估结果的局限性。
  2. 本文提出了Rubric4Setwise，通过将评估标准转化为文档集选择信号，优化文档集的选择与排序过程。
  3. 实验结果表明，Rubric4Setwise在短文和长文场景中均保持了最先进的性能，验证了评估到优化闭环的有效性。

📝 摘要（中文）

随着大型语言模型和人工智能代理成为搜索结果的主要消费者，文档集的质量决定了下游生成的上限。然而，现有评估系统仅限于独立评分文档并通过nDCG聚合，忽视了文档间的相互作用（冗余、冲突、互补性），无法回答为何一个文档集优于另一个。为了解决这些问题，本文提出了一个完整的评估-诊断-优化框架，并设计了SetwiseEvalKit，一个涵盖短文和长文场景的三层九维文档集评估基准，包含约28K高质量评估标准。我们系统评估了12种重排序方法，发现即使是最佳方法的覆盖率也不超过45%，而跨文档协调维度普遍较弱。基于此，我们提出了Rubric4Setwise，这是一种无训练的方法，将基于标准的评估标准转换为文档集选择信号，在更少的文档和搜索轮次中实现最佳的下游生成性能。

🔬 方法详解

问题定义：本文旨在解决现有文档集评估方法无法有效处理文档间相互作用的问题，现有方法的痛点在于仅依赖独立评分和nDCG聚合，无法全面评估文档集的质量。

核心思路：论文的核心思路是构建一个完整的评估-诊断-优化框架，通过Rubric4Setwise将评估标准转化为文档集选择信号，从而实现更高效的文档集选择与排序。

技术框架：整体架构包括三个主要模块：评估模块（SetwiseEvalKit），诊断模块（分析文档间的相互作用），优化模块（Rubric4Setwise），形成一个闭环的评估与优化流程。

关键创新：最重要的技术创新点在于Rubric4Setwise的提出，它是唯一一种在短文和长文场景中均保持最先进结果的方法，突破了传统方法的局限性。

关键设计：在关键设计上，Rubric4Setwise不依赖于训练过程，而是直接利用评估标准进行文档集选择，优化了文档的覆盖率和生成性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Rubric4Setwise在文档集选择与排序任务中表现优异，覆盖率达到45%，且在短文和长文场景中均保持最先进的性能，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括信息检索、推荐系统和自然语言生成等。通过优化文档集的选择与排序，能够显著提升下游任务的生成质量，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As large language models and AI agents become the primary consumers of search results, document set quality determines the upper bound of downstream generation. Yet existing evaluation systems remain confined to scoring documents independently and aggregating via nDCG, ignoring inter-document interactions (redundancy, conflict, complementarity) and unable to answer what makes one document set better than another. To address these issues, we propose a complete evaluate-diagnose-optimize framework. We design SetwiseEvalKit, a three-level, nine-dimension document set evaluation benchmark covering both short-form and long-form scenarios, comprising approximately 28K high-quality evaluation rubrics. We systematically evaluate 12 rerankers: even the best method achieves no more than 45% coverage, cross-document coordination dimensions are universally weak, and no single method maintains top performance across both settings. Building on this, we propose Rubric4Setwise, a training-free method that converts rubric-based evaluation criteria into document set selection signals, achieving the best downstream generation performance with fewer documents and search rounds. It is the only method that maintains state-of-the-art results across both scenarios, validating the effectiveness of closing the loop from evaluation to optimization.