DS@GT at Touché: Large Language Models for Retrieval-Augmented Debate

📄 arXiv: 2507.09090v1 📥 PDF

作者: Anthony Miyaguchi, Conor Johnston, Aaryan Potdar

分类: cs.IR, cs.CL

发布日期: 2025-07-12

🔗 代码/项目: GITHUB

💡 一句话要点

利用大型语言模型进行检索增强辩论及辩论评估研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 检索增强 辩论系统 自然语言处理 辩论评估

📋 核心要点

  1. 现有辩论系统缺乏灵活性和智能性，难以有效利用外部知识进行辩论。
  2. 论文提出利用大型语言模型进行检索增强辩论，提升辩论质量和效率。
  3. 实验表明，LLMs在辩论中表现良好，但在回复中存在冗长的问题，评估方面表现稳定。

📝 摘要（中文）

本文研究了大型语言模型（LLMs）在辩论场景中的应用，主要关注两个方面：一是LLMs在结构化辩论中的表现，包括利用给定的论据数据集进行辩论；二是LLMs在辩论过程中评估发言的能力。作者使用了来自三个提供商的六个领先的公开可用模型，进行了检索增强辩论和评估。评估通过四个关键指标进行：质量、数量、方式和关系。研究发现，当提供相关论据时，LLMs在辩论中表现良好，但在回复中往往显得冗长，但在评估方面表现出一致性。本文的源代码可在https://github.com/dsgt-arc/touche-2025-rad 获取。

🔬 方法详解

问题定义：论文旨在探索大型语言模型在辩论场景中的应用潜力，特别是如何利用LLMs进行检索增强辩论以及如何评估辩论过程中的发言质量。现有辩论系统通常依赖于预定义的规则和知识库，缺乏灵活性和智能性，难以有效利用外部知识进行辩论，并且难以对辩论过程进行有效的评估。

核心思路：论文的核心思路是利用大型语言模型强大的自然语言处理能力和知识储备，构建一个能够进行检索增强辩论并能评估辩论质量的系统。通过检索相关的论据，LLMs可以更好地支持辩论，并根据预定义的指标对辩论过程进行评估。

技术框架：整体框架包括检索增强辩论和评估两个主要阶段。在检索增强辩论阶段，LLM接收辩论主题，然后从论据数据集中检索相关论据，并利用这些论据生成辩论发言。在评估阶段，LLM根据质量、数量、方式和关系四个指标对辩论发言进行评估。整个流程通过prompt工程来控制LLM的行为。

关键创新：论文的关键创新在于将大型语言模型应用于检索增强辩论和辩论评估，并提出了一个基于四个关键指标的评估框架。这种方法能够有效地利用LLMs的自然语言处理能力，提升辩论质量和效率，并为辩论评估提供了一种新的思路。

关键设计：论文使用了六个公开可用的大型语言模型，并针对每个模型设计了特定的prompt，以控制其在辩论和评估中的行为。评估指标包括：质量（论据的合理性和有效性）、数量（论据的数量和覆盖范围）、方式（论据的表达方式和清晰度）和关系（论据与辩论主题的相关性）。具体参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，大型语言模型在检索增强辩论中表现良好，能够生成合理的论据并进行有效的辩论。然而，LLMs在回复中往往显得冗长，但在评估方面表现出一致性。具体的性能数据和提升幅度在论文中未详细给出，属于未知信息。

🎯 应用场景

该研究成果可应用于自动化辩论系统、智能客服、在线教育等领域。通过利用大型语言模型进行检索增强辩论，可以提升辩论质量和效率，并为用户提供更智能、更个性化的服务。未来，该技术还可用于辅助决策、舆情分析等领域。

📄 摘要（原文）

Large Language Models (LLMs) demonstrate strong conversational abilities. In this Working Paper, we study them in the context of debating in two ways: their ability to perform in a structured debate along with a dataset of arguments to use and their ability to evaluate utterances throughout the debate. We deploy six leading publicly available models from three providers for the Retrieval-Augmented Debate and Evaluation. The evaluation is performed by measuring four key metrics: Quality, Quantity, Manner, and Relation. Throughout this task, we found that although LLMs perform well in debates when given related arguments, they tend to be verbose in responses yet consistent in evaluation. The accompanying source code for this paper is located at https://github.com/dsgt-arc/touche-2025-rad.