DayDreamer at CQs-Gen 2025: Generating Critical Questions through Argument Scheme Completion

📄 arXiv: 2505.15554v1 📥 PDF

作者: Wendi Zhou, Ameer Saadat-Yazdi, Nadin Kökciyan

分类: cs.CL, cs.AI

发布日期: 2025-05-21

备注: ArgMining 2025 CQs-Gen shared task

💡 一句话要点

提出基于论证模式补全的DayDreamer系统，用于生成批判性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 批判性问题生成 论证挖掘 大型语言模型 思维链提示 论证模式 自然语言处理 文本理解

📋 核心要点

  1. 现有方法在论证文本中生成批判性问题时，缺乏对论证结构的有效利用，导致生成的问题相关性不足。
  2. DayDreamer系统利用大型语言模型和思维链提示，结合Walton论证模式，生成结构化论证并提取批判性问题。
  3. 该系统在CQs-Gen共享任务中表现出竞争力，证明了其在促进批判性思维和检测论证缺陷方面的潜力。

📝 摘要（中文）

本文介绍了一个用于ArgMining 2025批判性问题生成（CQs-Gen）共享任务的系统。该系统利用大型语言模型（LLMs）和思维链提示，以Walton的论证模式为指导生成批判性问题。对于每个输入干预，系统首先通过对话式提示LLMs来实例化相应的论证模式模板，从而获得结构化论证，然后生成相关的批判性问题。接着，系统通过提示LLMs，根据原始干预文本选择前3个最有帮助的问题，对所有可用的批判性问题进行排序。这种结构化论证理论与逐步推理的结合，能够生成上下文相关且多样的批判性问题。该流程在最终测试集中取得了有竞争力的性能，显示了其在促进论证文本批判性思维和检测缺失或未充分论证的主张方面的潜力。

🔬 方法详解

问题定义：论文旨在解决从论证性文本中自动生成批判性问题的问题。现有方法在生成问题时，往往缺乏对论证结构的深入理解，导致生成的问题与原文的关联性较弱，难以有效激发批判性思维。此外，现有方法在问题多样性方面也存在不足。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大生成能力，结合Walton的论证模式，将论证过程结构化，从而引导LLMs生成更具针对性和多样性的批判性问题。通过将论证分解为标准模式，可以更好地理解论证的逻辑结构，并针对性地提出质疑。

技术框架：DayDreamer系统的整体框架包含以下两个主要阶段：1) 论证模式实例化：对于给定的输入干预，系统首先使用对话式提示LLMs，根据Walton的论证模式模板，生成结构化的论证。这一步将非结构化的文本转化为结构化的论证形式。2) 批判性问题生成与排序：基于生成的结构化论证，系统进一步提示LLMs生成相关的批判性问题。然后，系统根据原始干预文本，利用LLMs对所有生成的批判性问题进行排序，选择前3个最有帮助的问题。

关键创新：该论文的关键创新在于将结构化的论证理论（Walton论证模式）与大型语言模型相结合，用于批判性问题的生成。与直接使用LLMs生成问题相比，该方法能够更好地理解论证的内在逻辑，从而生成更具针对性和相关性的问题。此外，通过论证模式的引导，可以促进生成更多样化的批判性问题。

关键设计：在论证模式实例化阶段，论文采用了特定的提示工程技术，以确保LLMs能够准确地理解和应用Walton的论证模式。在批判性问题排序阶段，论文使用了基于LLMs的排序模型，该模型根据原始干预文本和生成的批判性问题，评估每个问题的有用性。具体的参数设置和网络结构等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

DayDreamer系统在CQs-Gen共享任务的最终测试集中取得了有竞争力的性能，证明了其有效性。虽然论文中没有提供具体的性能数据和对比基线，但结果表明该系统能够生成上下文相关且多样的批判性问题，并具有促进批判性思维和检测论证缺陷的潜力。

🎯 应用场景

该研究成果可应用于教育领域，辅助学生进行批判性阅读和写作训练。此外，在辩论、法律论证等领域，该系统可以帮助人们识别论证中的漏洞和缺陷，提高论证的质量。未来，该技术还可以应用于虚假信息检测、舆情分析等领域，帮助人们更好地理解和评估信息。

📄 摘要（原文）

Critical questions are essential resources to provoke critical thinking when encountering an argumentative text. We present our system for the Critical Questions Generation (CQs-Gen) Shared Task at ArgMining 2025. Our approach leverages large language models (LLMs) with chain-of-thought prompting to generate critical questions guided by Walton's argumentation schemes. For each input intervention, we conversationally prompt LLMs to instantiate the corresponding argument scheme template to first obtain structured arguments, and then generate relevant critical questions. Following this, we rank all the available critical questions by prompting LLMs to select the top 3 most helpful questions based on the original intervention text. This combination of structured argumentation theory and step-by-step reasoning enables the generation of contextually relevant and diverse critical questions. Our pipeline achieves competitive performance in the final test set, showing its potential to foster critical thinking given argumentative text and detect missing or uninformed claims. Code available at \href{https://git.ecdf.ed.ac.uk/s2236454/DayDreamer-CQs-Gen}{DayDreamer}.