Reasoning or Not? A Comprehensive Evaluation of Reasoning LLMs for Dialogue Summarization
作者: Keyan Jin, Yapeng Wang, Leonel Santos, Tao Fang, Xu Yang, Sio Kei Im, Hugo Gonçalo Oliveira
分类: cs.CL, cs.AI
发布日期: 2025-07-02
💡 一句话要点
对话摘要任务中，推理型大语言模型表现不如非推理模型：一项综合评估研究
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对话摘要 大型语言模型 推理能力 链式思维 性能评估
📋 核心要点
- 现有对话摘要方法在并发抽象和简洁性方面存在挑战，尤其是在复杂对话场景下。
- 该研究对比了推理型和非推理型LLM在对话摘要任务上的表现，探究显式推理的有效性。
- 实验结果表明，推理型LLM在对话摘要任务中表现不如非推理模型，存在冗长和事实不一致等问题。
📝 摘要（中文）
对话摘要是一项具有重要实际价值的任务，应用于客户服务、会议分析和对话式人工智能等领域。尽管大型语言模型（LLMs）在摘要任务中取得了显著进展，但对于需要并发抽象和简洁性的对话场景，逐步推理架构（特别是诸如 OpenAI-o1 和 DeepSeek-R1 等长链思维（CoT）实现）的性能仍未得到充分探索。本文对最先进的推理型 LLM 和非推理型 LLM 在三种主要范式（通用、角色导向和查询导向对话摘要）上进行了首次全面和系统的评估。我们的研究涵盖了不同的语言、领域和摘要长度，利用了强大的基准（SAMSum、DialogSum、CSDS 和 QMSum）以及包括基于 LLM 的自动指标和人工启发式标准在内的高级评估协议。与其他推理密集型任务的趋势相反，我们的研究结果表明，显式的逐步推理并不能始终如一地提高对话摘要的质量。相反，与非推理模型相比，推理型 LLM 通常更容易产生冗长、事实不一致和不太简洁的摘要。通过针对特定场景的分析和详细的案例研究，我们进一步确定了显式推理可能无法受益甚至阻碍复杂对话环境中的摘要的情况和原因。我们的工作为当前推理型 LLM 的局限性提供了新的见解，并强调了针对真实世界对话摘要的定向建模和评估策略的必要性。
🔬 方法详解
问题定义：论文旨在解决对话摘要任务中，现有推理型大语言模型（LLMs）在处理需要并发抽象和简洁性的复杂对话场景时表现不佳的问题。现有方法，特别是长链思维（CoT）方法，在其他推理密集型任务中表现良好，但在对话摘要中却未能始终如一地提高质量，甚至可能导致冗长、事实不一致等问题。
核心思路：论文的核心思路是通过全面和系统的评估，对比推理型和非推理型LLMs在不同对话摘要范式下的表现，从而揭示推理在对话摘要任务中的局限性。通过分析不同场景下的表现差异，找出显式推理失效的原因，并为未来的模型设计和评估提供指导。
技术框架：该研究的技术框架主要包括以下几个部分：1) 选择代表性的推理型和非推理型LLMs，例如OpenAI-o1和DeepSeek-R1等；2) 在三种主要的对话摘要范式（通用、角色导向和查询导向）上进行评估；3) 使用多个数据集（SAMSum、DialogSum、CSDS和QMSum）进行实验；4) 采用包括基于LLM的自动指标和人工启发式标准在内的高级评估协议；5) 进行场景特定的分析和案例研究，深入理解推理失效的原因。
关键创新：该研究最重要的技术创新点在于，它首次对推理型LLMs在对话摘要任务中的表现进行了全面和系统的评估，并发现显式推理并不总是能够提高摘要质量，甚至可能产生负面影响。这一发现挑战了以往对推理型LLMs的认知，并为未来的研究方向提供了新的视角。
关键设计：论文的关键设计包括：1) 选择具有代表性的推理型和非推理型LLMs，以确保评估的全面性；2) 采用多种数据集和评估指标，以保证结果的可靠性；3) 进行场景特定的分析和案例研究，以深入理解推理失效的原因。具体的参数设置、损失函数和网络结构等细节取决于所使用的LLMs，论文侧重于对不同LLMs的整体性能进行比较和分析。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在对话摘要任务中，推理型LLM（如OpenAI-o1和DeepSeek-R1）的表现通常不如非推理模型。推理型LLM更容易产生冗长、事实不一致和不太简洁的摘要。例如，在某些数据集上，非推理模型的ROUGE指标优于推理模型。
🎯 应用场景
该研究成果可应用于改进客户服务、会议分析和对话式人工智能等领域的对话摘要系统。通过避免过度依赖显式推理，可以开发出更简洁、准确和一致的摘要模型。未来的研究可以探索更有效的推理方法，或设计专门针对对话摘要任务的非推理模型。
📄 摘要（原文）
Dialogue summarization is a challenging task with significant practical value in customer service, meeting analysis, and conversational AI. Although large language models (LLMs) have achieved substantial progress in summarization tasks, the performance of step-by-step reasoning architectures-specifically Long Chain-of-Thought (CoT) implementations such as OpenAI-o1 and DeepSeek-R1-remains unexplored for dialogue scenarios requiring concurrent abstraction and conciseness. In this work, we present the first comprehensive and systematic evaluation of state-of-the-art reasoning LLMs and non-reasoning LLMs across three major paradigms-generic, role-oriented, and query-oriented dialogue summarization. Our study spans diverse languages, domains, and summary lengths, leveraging strong benchmarks (SAMSum, DialogSum, CSDS, and QMSum) and advanced evaluation protocols that include both LLM-based automatic metrics and human-inspired criteria. Contrary to trends in other reasoning-intensive tasks, our findings show that explicit stepwise reasoning does not consistently improve dialogue summarization quality. Instead, reasoning LLMs are often prone to verbosity, factual inconsistencies, and less concise summaries compared to their non-reasoning counterparts. Through scenario-specific analyses and detailed case studies, we further identify when and why explicit reasoning may fail to benefit-or even hinder-summarization in complex dialogue contexts. Our work provides new insights into the limitations of current reasoning LLMs and highlights the need for targeted modeling and evaluation strategies for real-world dialogue summarization.