Search-Aware Reinforcement Learning for Multi-Component Query Understanding in Roblox Game Search

📄 arXiv: 2609.30177v1 📥 PDF

作者: Nayoung Choi, Shengjian Chen, Xiaokai Wei, Wenzheng Zhang, Daiyao Yi, Rachit Pareek, Vincent Su, Michelle Gong, Jinho D. Choi

分类: cs.AI

发布日期: 2026-09-24

💡 一句话要点

提出搜索感知强化学习以优化Roblox游戏搜索的查询理解

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 查询理解 强化学习 Roblox 搜索引擎 多任务学习 奖励机制 模型优化

📋 核心要点

  1. 现有方法在查询理解中面临挑战，静态标签监督无法有效捕捉组件与搜索管道的交互。
  2. 论文提出了一种搜索感知强化学习框架，通过教师-学生微调和实时奖励优化每个查询理解组件。
  3. 实验结果显示，该方法在Roblox搜索中显著提高了NDCG@20，提升幅度达到8.9个百分点。

📝 摘要（中文）

查询理解（QU）在生产搜索系统中至关重要，它将用户的原始查询转化为搜索执行计划，从而推动后续的检索和排序。尽管大型语言模型（LLMs）使得QU可以被视为一个结构化的多任务生成问题，但优化这些模型以生成与搜索引擎耦合的输出仍然具有挑战性：静态的标签监督无法捕捉每个组件如何与基础搜索管道交互以影响下游性能。本文提出了一种基于蒸馏-再强化学习（RL）范式的搜索感知强化学习框架。教师-学生监督微调（SFT）首先生成一个良好构造的、符合模式的策略初始化。然后，RL阶段通过与搜索引擎的实时交互获得的奖励来优化每个QU组件，奖励针对该组件的操作角色，而不是与最终搜索结果相关的单一奖励。实验结果表明，该组件特定的优化提高了每个组件的效用和下游搜索质量，NDCG@20比SFT策略提高了8.9个百分点，比单一端到端奖励训练提高了3.5个百分点。

🔬 方法详解

问题定义：本文旨在解决查询理解（QU）中现有方法的不足，特别是静态标签监督无法有效反映组件与搜索管道的交互，导致下游性能不佳。

核心思路：提出一种基于蒸馏-再强化学习的框架，通过教师-学生微调生成初始策略，再通过与搜索引擎的实时交互优化每个组件的性能，确保奖励与组件的操作角色相匹配。

技术框架：整体架构分为两个主要阶段：首先进行教师-学生监督微调，生成符合模式的策略初始化；然后进入强化学习阶段，通过实时交互获得奖励，优化每个查询理解组件。

关键创新：最重要的创新在于采用组件特定的奖励机制，而非单一的最终搜索结果奖励，这使得每个组件能够独立优化，从而提升整体性能。

关键设计：在设计中，采用了教师-学生模型进行初始策略的生成，并在强化学习阶段设置了针对每个组件的定制奖励，确保优化过程能够反映实际的搜索引擎交互效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，提出的方法在Roblox搜索中显著提高了NDCG@20，较SFT策略提升8.9个百分点，相较于单一端到端奖励训练提升3.5个百分点，验证了组件特定优化的有效性。

🎯 应用场景

该研究的潜在应用领域包括在线搜索引擎、游戏搜索系统以及其他需要高效查询理解的智能系统。通过优化查询理解过程，可以显著提升用户体验和搜索结果的相关性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Query understanding (QU) plays a critical role in production search systems, translating raw user queries into search execution plans that drive downstream retrieval and ranking. While large language models (LLMs) have enabled QU to be framed as a structured multi-task generation problem (e.g., intent classification, query expansion), optimizing such models to produce search-engine-coupled outputs remains challenging: static, label-based supervision fails to capture how each component actually interacts with the underlying search pipeline to affect downstream performance. We present a search-aware reinforcement learning (RL) framework for QU based on a distill-then-RL paradigm. Teacher-student supervised fine-tuning (SFT) first yields a well-formed, schema-compliant policy initialization. The RL stage then optimizes each QU component with rewards derived from live interaction with the search engine, tailored to that component's operational role, rather than a single reward tied to the final search outcome. Experiments on Roblox search show that this component-specific optimization improves both per-component utility and downstream search quality, raising NDCG@20 by 8.9 points over the SFT policy and by 3.5 points over training with a single end-to-end reward.