Assisted Debate Builder with Large Language Models

📄 arXiv: 2405.13015v1 📥 PDF

作者: Elliot Faugier, Frédéric Armetta, Angela Bonifati, Bruno Yun

分类: cs.CL, cs.AI

发布日期: 2024-05-14

备注: 7 pages, 2 figures

💡 一句话要点

ADBL2：基于大语言模型的辅助辩论构建工具，提升论证挖掘性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 辩论构建 大型语言模型 论证挖掘 关系推理 Mistral-7B

📋 核心要点

  1. 现有辩论构建工具缺乏对论点间关系的有效挖掘和验证能力。
  2. ADBL2利用大型语言模型进行关系型论证挖掘，辅助辩论构建和论点生成。
  3. 通过微调Mistral-7B模型，ADBL2在论证挖掘任务上取得了90.59%的F1值。

📝 摘要（中文）

本文介绍了一个辅助辩论构建工具ADBL2。该工具基于大型语言模型在各种领域中进行泛化和执行基于关系的论证挖掘的能力。ADBL2是第一个开源工具，它利用基于关系的挖掘来（1）验证辩论中预先建立的关系，以及（2）借助大型语言模型辅助创建新的论点。ADBL2具有高度模块化，可以与任何用作插件的开源大型语言模型一起使用。作为副产品，我们还提供了第一个针对基于关系的论证挖掘进行微调的Mistral-7B大型语言模型，ADBL2可以使用它，并且在所有领域中的总体F1得分为90.59％，优于现有的方法。

🔬 方法详解

问题定义：论文旨在解决辩论构建过程中论点之间关系验证和新论点生成的问题。现有方法在处理复杂论证关系时效率较低，且难以自动化生成高质量的论点。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的泛化能力和关系推理能力，自动挖掘和验证论点之间的关系，并辅助生成新的论点。通过将LLM作为核心引擎，实现辩论构建的自动化和智能化。

技术框架：ADBL2工具的整体架构包含以下几个主要模块：1) 辩论关系验证模块：使用LLM验证预先设定的论点关系是否合理。2) 新论点生成模块：利用LLM生成支持或反对现有论点的新的论点。3) 模块化设计：允许用户选择不同的开源LLM作为插件，灵活适应不同的应用场景。

关键创新：该论文的关键创新在于将关系型论证挖掘与大型语言模型相结合，并将其应用于辩论构建领域。这是第一个开源工具，能够利用LLM进行辩论中关系的验证和新论点的辅助创建。此外，针对关系型论证挖掘任务微调Mistral-7B模型也是一个重要的贡献。

关键设计：论文的关键设计包括：1) 使用Mistral-7B模型作为基础LLM，并针对关系型论证挖掘任务进行微调。2) 设计了特定的提示工程（prompt engineering）方法，引导LLM进行关系推理和论点生成。3) 采用模块化设计，允许用户灵活选择和替换不同的LLM插件。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ADBL2中微调的Mistral-7B模型在关系型论证挖掘任务上取得了显著的性能提升，总体F1值达到90.59%，超越了现有的方法。这一结果验证了使用大型语言模型进行关系型论证挖掘的有效性，并为未来的研究提供了新的方向。

🎯 应用场景

ADBL2可应用于在线辩论平台、教育领域（辅助学生进行辩论准备）、政策制定（辅助分析政策论据）等场景。该工具能够提高辩论构建的效率和质量，促进更深入的讨论和决策，并有望在未来成为辩论分析和辅助决策的重要工具。

📄 摘要（原文）

We introduce ADBL2, an assisted debate builder tool. It is based on the capability of large language models to generalise and perform relation-based argument mining in a wide-variety of domains. It is the first open-source tool that leverages relation-based mining for (1) the verification of pre-established relations in a debate and (2) the assisted creation of new arguments by means of large language models. ADBL2 is highly modular and can work with any open-source large language models that are used as plugins. As a by-product, we also provide the first fine-tuned Mistral-7B large language model for relation-based argument mining, usable by ADBL2, which outperforms existing approaches for this task with an overall F1-score of 90.59% across all domains.