UniConv: Unifying Retrieval and Response Generation for Large Language Models in Conversations

📄 arXiv: 2507.07030v1 📥 PDF

作者: Fengran Mo, Yifan Gao, Chuan Meng, Xin Liu, Zhuofeng Wu, Kelong Mao, Zhengyang Wang, Pei Chen, Zheng Li, Xian Li, Bing Yin, Meng Jiang

分类: cs.CL, cs.IR

发布日期: 2025-07-09

备注: Accepted by ACL 2025 (main)

💡 一句话要点

UniConv统一检索与生成，提升大型语言模型在对话搜索中的性能

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 会话搜索 大型语言模型 密集检索 响应生成 联合微调 统一模型 自然语言处理

📋 核心要点

  1. 现有会话搜索系统依赖分离的检索和生成模型，无法有效利用模型内在知识，限制了检索对生成任务的促进作用。
  2. UniConv通过联合微调大型语言模型，统一密集检索和响应生成，旨在提升会话搜索系统的整体性能。
  3. 实验结果表明，UniConv在多个会话搜索数据集上优于现有基线，实现了检索和生成任务的相互提升。

📝 摘要（中文）

会话搜索系统通过用户与系统之间的多轮交互，革新了信息访问方式。现有的会话搜索系统通常由两个不同的模型构建，这种分离限制了系统同时利用模型内在知识的能力，无法确保检索的有效性从而促进生成。现有的统一模型研究未能充分解决理解会话上下文、独立管理检索和生成响应等方面的问题。本文探讨了如何统一大型语言模型在对话中的密集检索和响应生成。我们通过不同的目标进行联合微调，并设计了两种机制来降低不一致风险，同时缓解数据差异。在五个会话搜索数据集上的评估表明，我们的统一模型可以相互改进两项任务，并优于现有的基线。

🔬 方法详解

问题定义：论文旨在解决现有会话搜索系统中检索和生成模型分离的问题。这种分离导致模型无法同时利用内在知识，检索效果不佳，进而影响生成质量。现有统一模型在理解会话上下文、独立管理检索和生成方面存在不足。

核心思路：论文的核心思路是将密集检索和响应生成统一到一个大型语言模型中，通过联合微调的方式，让模型同时学习检索和生成的能力。通过这种方式，检索可以更好地服务于生成，生成也可以反过来促进检索，实现相互提升。

技术框架：UniConv的技术框架主要包括以下几个部分：1) 使用大型语言模型作为基础模型；2) 设计联合微调目标，同时优化检索和生成任务；3) 引入两种机制来降低不一致风险，缓解数据差异。整体流程是，首先使用预训练的大型语言模型，然后使用会话搜索数据集进行联合微调，最后评估模型在检索和生成任务上的性能。

关键创新：论文的关键创新在于提出了一个统一的框架，将密集检索和响应生成整合到一个大型语言模型中。与现有方法相比，UniConv能够更好地利用模型内在知识，实现检索和生成的相互促进。此外，论文还设计了两种机制来降低不一致风险，缓解数据差异，进一步提升了模型的性能。

关键设计：论文的关键设计包括：1) 联合微调目标的设计，需要平衡检索和生成任务的优化；2) 降低不一致风险的机制，例如使用对比学习等方法；3) 缓解数据差异的机制，例如使用数据增强或领域自适应等方法。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniConv在五个会话搜索数据集上进行了评估，实验结果表明，UniConv优于现有的基线模型。具体来说，UniConv在检索任务和生成任务上都取得了显著的提升，证明了统一模型的有效性。论文中提供了详细的性能数据和对比结果。

🎯 应用场景

UniConv的研究成果可以应用于各种会话搜索系统，例如智能客服、对话式问答系统等。通过提升检索和生成任务的性能，可以提高用户满意度，改善用户体验。未来，该研究还可以扩展到其他自然语言处理任务，例如机器翻译、文本摘要等。

📄 摘要（原文）

The rapid advancement of conversational search systems revolutionizes how information is accessed by enabling the multi-turn interaction between the user and the system. Existing conversational search systems are usually built with two different models. This separation restricts the system from leveraging the intrinsic knowledge of the models simultaneously, which cannot ensure the effectiveness of retrieval benefiting the generation. The existing studies for developing unified models cannot fully address the aspects of understanding conversational context, managing retrieval independently, and generating responses. In this paper, we explore how to unify dense retrieval and response generation for large language models in conversation. We conduct joint fine-tuning with different objectives and design two mechanisms to reduce the inconsistency risks while mitigating data discrepancy. The evaluations on five conversational search datasets demonstrate that our unified model can mutually improve both tasks and outperform the existing baselines.