Controlling Output Rankings in Generative Engines for LLM-based Search
作者: Haibo Jin, Ruoxi Chen, Peiyan Zhang, Yifeng Luo, Huimin Zeng, Man Luo, Haohan Wang
分类: cs.CL, cs.AI, cs.IR
发布日期: 2026-02-03
备注: 23 pages
💡 一句话要点
提出CORE方法，通过优化检索内容控制LLM搜索的输出排序，提升小商家产品曝光
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: LLM搜索 排序控制 内容优化 生成引擎 产品推荐
📋 核心要点
- 现有基于LLM的搜索结果受初始检索排序影响大，导致小商家产品曝光受限，存在不公平性。
- CORE方法通过优化搜索引擎返回的内容，附加策略性设计的优化内容，从而引导LLM输出排序。
- 实验表明，CORE在多个LLM上实现了显著的推广成功率，平均Top-5达91.4%，优于现有方法。
📝 摘要（中文）
随着大型语言模型（LLM）的兴起，客户搜索和选择产品的方式正在发生变化。基于LLM的搜索（或生成引擎）直接向用户提供产品推荐，而不是传统的在线搜索结果，后者需要用户自己探索选项。然而，这些推荐受到LLM初始检索顺序的强烈影响，这限制了小企业和独立创作者的可见性，使其处于不利地位。本文提出了一种优化方法CORE，用于控制基于LLM搜索的生成引擎中的输出排序。由于LLM与搜索引擎的交互是黑盒的，CORE将搜索引擎返回的内容作为影响输出排序的主要手段。具体来说，CORE通过附加策略性设计的优化内容来优化检索到的内容，从而引导输出的排序。我们引入了三种类型的优化内容：基于字符串的、基于推理的和基于评论的，证明了它们在塑造输出排序方面的有效性。为了在实际环境中评估CORE，我们引入了ProductBench，这是一个大规模的基准测试，包含15个产品类别，每个类别200个产品，每个产品都与其从亚马逊搜索界面收集的前10个推荐相关联。对四种具有搜索能力的LLM（GPT-4o、Gemini-2.5、Claude-4和Grok-3）进行的大量实验表明，在15个产品类别中，CORE实现了平均91.4% @Top-5、86.6% @Top-3和80.3% @Top-1的推广成功率，优于现有的排名操纵方法，同时保持了优化内容的流畅性。
🔬 方法详解
问题定义：论文旨在解决基于LLM的搜索中，初始检索排序对最终产品推荐结果的强烈影响问题。这种影响使得排名靠前的产品更容易被推荐，而排名靠后的小商家或独立创作者的产品则难以获得曝光，造成不公平的竞争环境。现有方法难以有效控制LLM的输出排序，且可能影响生成内容的流畅性。
核心思路：CORE的核心思路是通过优化搜索引擎返回的内容来间接控制LLM的输出排序。由于LLM与搜索引擎的交互是黑盒的，直接干预LLM的内部机制不可行。因此，CORE选择在LLM接收到的输入信息上做文章，通过附加精心设计的优化内容，引导LLM改变其对不同产品的排序偏好。
技术框架：CORE的技术框架主要包含以下几个步骤：1) 确定需要推广的目标产品；2) 从搜索引擎检索与目标产品相关的候选产品信息；3) 根据设计的优化策略，生成并附加优化内容到检索到的产品信息中；4) 将优化后的产品信息输入LLM，生成推荐结果；5) 评估推广成功率。
关键创新：CORE最重要的技术创新在于其优化内容的生成策略。论文提出了三种类型的优化内容：基于字符串的（例如，添加与目标产品相关的关键词）、基于推理的（例如，提供支持目标产品的论据）和基于评论的（例如，添加对目标产品的正面评价）。这些优化内容旨在从不同角度影响LLM对产品的理解和排序。与现有方法相比，CORE不需要修改LLM的内部参数，具有更好的通用性和可扩展性。
关键设计：CORE的关键设计在于优化内容的具体生成方式。论文详细描述了如何根据不同的产品类别和目标产品，选择合适的关键词、论据和评价，并将其以自然语言的形式融入到产品信息中。此外，论文还考虑了优化内容的长度和格式，以避免影响生成内容的流畅性。具体参数设置和损失函数未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CORE在GPT-4o、Gemini-2.5、Claude-4和Grok-3等多个LLM上均取得了显著的推广效果。在15个产品类别中，CORE实现了平均91.4% @Top-5、86.6% @Top-3和80.3% @Top-1的推广成功率，优于现有的排名操纵方法，证明了其有效性和通用性。
🎯 应用场景
CORE方法可应用于电商平台、内容推荐系统等领域，帮助小商家和独立创作者提升产品曝光度，实现更公平的竞争环境。该研究还有助于优化搜索引擎的排序算法，提升用户搜索体验，并为LLM在信息检索领域的应用提供新的思路。
📄 摘要（原文）
The way customers search for and choose products is changing with the rise of large language models (LLMs). LLM-based search, or generative engines, provides direct product recommendations to users, rather than traditional online search results that require users to explore options themselves. However, these recommendations are strongly influenced by the initial retrieval order of LLMs, which disadvantages small businesses and independent creators by limiting their visibility. In this work, we propose CORE, an optimization method that \textbf{C}ontrols \textbf{O}utput \textbf{R}ankings in g\textbf{E}nerative Engines for LLM-based search. Since the LLM's interactions with the search engine are black-box, CORE targets the content returned by search engines as the primary means of influencing output rankings. Specifically, CORE optimizes retrieved content by appending strategically designed optimization content to steer the ranking of outputs. We introduce three types of optimization content: string-based, reasoning-based, and review-based, demonstrating their effectiveness in shaping output rankings. To evaluate CORE in realistic settings, we introduce ProductBench, a large-scale benchmark with 15 product categories and 200 products per category, where each product is associated with its top-10 recommendations collected from Amazon's search interface. Extensive experiments on four LLMs with search capabilities (GPT-4o, Gemini-2.5, Claude-4, and Grok-3) demonstrate that CORE achieves an average Promotion Success Rate of \textbf{91.4\% @Top-5}, \textbf{86.6\% @Top-3}, and \textbf{80.3\% @Top-1}, across 15 product categories, outperforming existing ranking manipulation methods while preserving the fluency of optimized content.