Chinese Competitive Debating Dataset and Benchmark
作者: Zongrui Yang, Haoyuan Li, Zhongsheng Wang, Zhirui Zeng, Pengqian Han, Yi Zhou, Yuting Wang, Jiamou Liu
分类: cs.CL, cs.AI
发布日期: 2026-09-18
备注: 25 pages, 2 figures
💡 一句话要点
提出中文辩论数据集与基准以评估语言模型理解能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 中文辩论 数据集 语言模型 评估基准 互动论证 机器学习 自然语言处理
📋 核心要点
- 现有辩论数据集缺乏细致的辩论记录和专业评判的结合，限制了对辩论理解的研究。
- 本研究提出了一个包含真实比赛记录和裁判评判的数据集，旨在评估语言模型对辩论的理解能力。
- 实验结果表明，模型在胜者预测和最佳辩手预测任务上达到了较高的准确率，验证了数据集的有效性。
📝 摘要（中文）
辩论裁决需要跟踪论点在互动中的发展，但现有数据集很少结合细致的辩论记录与在真实比赛中收集的专业评判。我们引入了一个数据集和基准，用于评估大型语言模型在比赛、阶段和发言者层面上对中文辩论的理解。我们组织了182场比赛，招募了120名专业裁判，每场比赛由三名裁判独立裁决，使用预定义的评分标准。经过筛选，数据集包含148场比赛、2698个阶段和20542个交流单元，保留了原始阶段分数、比赛投票、最佳辩手选票和裁决理由。我们定义了三个任务：胜者倾向预测、阶段分数预测和最佳辩手预测。多个大型语言模型的零-shot评估显示，胜者预测准确率最高为66.2%，模型阶段分数与人类平均评分的Pearson相关性最高为0.250，最佳辩手预测准确率最高为56.8%。该数据集和基准为研究大型语言模型对互动论证的理解及其与专业裁判的一致性提供了测试平台。
🔬 方法详解
问题定义：本研究旨在解决现有辩论数据集缺乏细致记录和专业评判结合的问题，限制了对辩论互动的深入理解。
核心思路：通过构建一个包含真实比赛记录和裁判评判的数据集，提供一个评估语言模型理解辩论的基准，帮助研究者分析模型的表现。
技术框架：整体架构包括数据收集、裁判评判、数据清洗和任务定义四个主要模块。数据收集阶段组织了182场比赛，裁判评判阶段由120名专业裁判独立进行，数据清洗确保数据的完整性和准确性，任务定义则明确了胜者倾向预测、阶段分数预测和最佳辩手预测。
关键创新：最重要的技术创新在于结合了细致的辩论记录与专业裁判的评判，形成了一个新的数据集和基准，填补了现有研究的空白。
关键设计：数据集中保留了原始阶段分数、比赛投票和裁判理由，采用了预定义的评分标准，确保了数据的可靠性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，多个大型语言模型在胜者预测任务上的最高准确率为66.2%，阶段分数与人类评分的Pearson相关性达到0.250，最佳辩手预测的准确率为56.8%。这些结果表明，数据集和基准在评估语言模型理解辩论方面具有显著的有效性。
🎯 应用场景
该研究的潜在应用领域包括教育、人工智能辩论系统和语言模型的训练与评估。通过提供标准化的数据集和基准，研究者可以更好地理解和改进语言模型在复杂互动中的表现，推动相关技术的发展。
📄 摘要（原文）
Debate adjudication requires tracking how arguments develop through interaction, yet existing datasets rarely combine fine-grained debate transcripts with professional judgments collected during real competitions under a shared rubric. We introduce a dataset and benchmark for evaluating large language models' understanding of competitive Chinese-language debate at the match, stage, and speaker levels. We organized 182 matches and recruited 120 professional judges, with each match independently adjudicated by three judges using a predefined rubric. After excluding matches with incomplete records, the dataset contains 148 matches, 2,698 stages, and 20,542 exchange units, with manually verified transcripts and segmentation. It preserves original stage scores, match votes, best-debater ballots, and adjudication rationales. We define three tasks: winner-tendency prediction, stage-score prediction, and best-debater prediction. Zero-shot evaluation of multiple large language models yields a highest winner-prediction accuracy of 66.2%, a highest Pearson correlation of 0.250 between model stage scores and mean human ratings, and a highest best-debater prediction accuracy of 56.8%. The dataset and benchmark provide a testbed for studying large language models' understanding of interactive argumentation and their agreement with professional judges.