Hypencoder: Hypernetworks for Information Retrieval

📄 arXiv: 2502.05364v2 📥 PDF

作者: Julian Killingback, Hansi Zeng, Hamed Zamani

分类: cs.IR, cs.LG

发布日期: 2025-02-07 (更新: 2025-05-01)

💡 一句话要点

提出Hypencoder，利用超网络生成查询相关的检索函数，显著提升信息检索性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 超网络 查询编码 相关性函数 深度学习

📋 核心要点

  1. 现有信息检索系统依赖向量内积，表达能力受限，难以捕捉复杂的相关性。
  2. 提出Hypencoder，使用超网络为每个查询生成一个小型神经网络，作为查询特定的相关性函数。
  3. 实验表明，Hypencoder在多个检索任务上显著优于现有模型，尤其在困难任务上优势明显。

📝 摘要（中文）

现有的信息检索系统主要依赖于向量内积来评估查询-文档相关性，这自然限制了相关性评分的表达能力。我们提出了一种新的范式：不将查询表示为向量，而是使用一个小型神经网络作为学习到的查询特定相关性函数。这个小型神经网络以文档表示（本文中使用单个向量）作为输入，并产生一个标量相关性评分。为了生成这个小型神经网络，我们使用超网络（一种生成其他网络权重的网络）作为查询编码器。我们将这类编码器模型命名为Hypencoder。在领域内搜索任务上的实验表明，Hypencoder显著优于强大的稠密检索模型，甚至超过了参数量大一个数量级的重排序模型和检索模型。为了评估Hypencoder的能力，我们在包括舌尖现象和指令跟随检索任务在内的一组困难检索任务上进行了评估。在更困难的任务上，我们发现与标准检索任务相比，性能差距显著扩大。此外，为了证明我们方法的实用性，我们实现了一种近似搜索算法，并表明我们的模型能够在不到60毫秒的时间内从880万个文档的语料库中进行检索。

🔬 方法详解

问题定义：现有信息检索系统依赖向量内积计算查询和文档的相关性，这种方法的表达能力有限，无法捕捉复杂的语义关系和用户意图。尤其是在需要理解上下文、进行推理或处理模糊查询的场景下，基于向量内积的方法表现不佳。

核心思路：论文的核心思路是使用一个小型神经网络来表示查询，这个网络的作用是根据输入的文档表示，输出一个相关性得分。每个查询都对应一个独特的神经网络，这个网络可以学习到查询特定的相关性模式。这种方法的关键在于如何高效地生成这些查询特定的神经网络。

技术框架：整体框架包含两个主要部分：超网络（Hypernetwork）和小型相关性网络。超网络作为查询编码器，接收查询作为输入，并生成小型相关性网络的权重。小型相关性网络接收文档表示作为输入，输出一个标量相关性得分。在训练过程中，超网络学习如何根据查询生成能够准确评估文档相关性的小型网络。检索时，使用超网络为每个查询生成一个小型网络，然后使用该网络对所有文档进行评分，并返回得分最高的文档。

关键创新：最重要的创新点在于使用超网络来生成查询特定的相关性函数。与传统的向量表示方法相比，这种方法具有更强的表达能力，可以捕捉更复杂的相关性模式。此外，这种方法允许模型根据查询的特点动态调整相关性评估方式，从而提高检索的准确性。

关键设计：超网络的设计至关重要，需要能够高效地生成小型相关性网络的权重。论文中可能采用了特定的超网络结构，例如使用多层感知机或卷积神经网络。小型相关性网络的设计也需要考虑计算效率和表达能力之间的平衡。损失函数的设计需要能够引导超网络生成能够准确评估相关性的小型网络，例如可以使用交叉熵损失或排序损失。此外，为了提高检索效率，论文还提出了一种近似搜索算法，具体实现细节未知。

📊 实验亮点

实验结果表明，Hypencoder在领域内搜索任务上显著优于强大的稠密检索模型，甚至超过了参数量大一个数量级的重排序模型和检索模型。在更困难的检索任务（如舌尖现象和指令跟随检索）上，Hypencoder的性能优势更加明显。此外，该模型能够在不到60毫秒的时间内从880万个文档的语料库中进行检索，证明了其在实际应用中的可行性。

🎯 应用场景

Hypencoder在信息检索领域具有广泛的应用前景，可以应用于搜索引擎、问答系统、推荐系统等。尤其是在需要处理复杂查询和理解用户意图的场景下，Hypencoder能够显著提高检索的准确性和用户满意度。该方法还有潜力应用于其他领域，例如自然语言生成、图像生成等，通过超网络生成特定任务的网络。

📄 摘要（原文）

Existing information retrieval systems are largely constrained by their reliance on vector inner products to assess query-document relevance, which naturally limits the expressiveness of the relevance score they can produce. We propose a new paradigm; instead of representing a query as a vector, we use a small neural network that acts as a learned query-specific relevance function. This small neural network takes a document representation as input (in this work we use a single vector) and produces a scalar relevance score. To produce the small neural network we use a hypernetwork, a network that produces the weights of other networks, as our query encoder. We name this category of encoder models Hypencoders. Experiments on in-domain search tasks show that Hypencoders significantly outperform strong dense retrieval models and even surpass reranking models and retrieval models with an order of magnitude more parameters. To assess the extent of Hypencoders' capabilities, we evaluate on a set of hard retrieval tasks including tip-of-the-tongue and instruction-following retrieval tasks. On harder tasks, we find that the performance gap widens substantially compared to standard retrieval tasks. Furthermore, to demonstrate the practicality of our method, we implement an approximate search algorithm and show that our model is able to retrieve from a corpus of 8.8M documents in under 60 milliseconds.