ClaimFlow: Tracing the Evolution of Scientific Claims in NLP
作者: Aniket Pramanick, Yufang Hou, Saif M. Mohammad, Iryna Gurevych
分类: cs.CL
发布日期: 2026-03-17
💡 一句话要点
提出ClaimFlow，追踪NLP领域科学主张的演变，并构建主张关系分类任务。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学主张 关系分类 NLP文献分析 知识图谱 ClaimFlow
📋 核心要点
- 现有引文分析方法无法充分捕捉科学论文中主张的演变和相互作用关系。
- 构建ClaimFlow数据集，显式标注论文中的主张及其相互关系，包括支持、扩展、反驳等。
- 定义主张关系分类任务，并使用神经模型和大型语言模型进行评估，为后续研究提供基线。
📝 摘要（中文）
科学论文不仅仅是报告结果，更重要的是提出各种科学主张，这些主张会被后续工作支持、扩展，甚至反驳。然而，现有的引文和主张分析方法仅能捕捉到这种对话的片段。本文旨在明确个体科学主张层面的互动关系。我们构建了ClaimFlow，这是一个以主张为中心的NLP文献视图，它基于304篇ACL Anthology论文（1979-2025），这些论文经过人工标注，包含1084个主张和832个跨论文的主张关系，这些关系表明引用论文是支持、扩展、限定、反驳还是将主张作为背景引用。基于ClaimFlow，我们定义了一个新的任务——主张关系分类，该任务要求模型从文本和引文上下文中推断出对被引用主张的科学立场。我们评估了强大的神经模型和大型语言模型在这个任务上的表现，报告了0.78的宏平均F1值作为基线性能，表明主张关系分类是可行但具有挑战性的。我们进一步应用我们的模型于约1.3万篇NLP论文，以分析数十年来NLP研究中主张的演变。我们的分析表明，63.5%的主张从未被重用；只有11.1%的主张受到挑战；与此同时，广泛传播的主张更经常通过限定和扩展来重塑，而不是直接确认或反驳。总的来说，ClaimFlow提供了一个视角，用于检查NLP领域内思想如何转变和成熟，并为评估模型是否能够解释科学论证奠定了基础。
🔬 方法详解
问题定义：现有方法在分析科学论文时，无法准确追踪和理解论文中提出的各项主张之间的演变关系，例如一篇论文的主张如何被后续论文支持、扩展、限定或反驳。现有的引文分析方法粒度较粗，无法深入到具体的主张层面，因此难以全面了解科学思想的演进过程。
核心思路：本文的核心思路是以科学主张为中心，构建一个能够追踪主张演变的数据集和相应的分析框架。通过人工标注的方式，识别论文中的关键主张，并标注这些主张在不同论文之间的关系，从而显式地呈现科学思想的演进路径。
技术框架：ClaimFlow的构建主要包含以下几个阶段：1) 论文选择：选择ACL Anthology中的304篇论文作为数据集的基础。2) 主张标注：人工标注每篇论文中的科学主张，形成主张集合。3) 关系标注：标注不同论文中主张之间的关系，包括支持、扩展、限定、反驳和背景引用等。4) 任务定义：定义主张关系分类任务，即给定两个主张和它们所在的论文，判断它们之间的关系类型。
关键创新：该论文的关键创新在于：1) 构建了一个以主张为中心的NLP文献数据集ClaimFlow，该数据集显式地标注了论文中的主张及其相互关系。2) 提出了主张关系分类任务，这是一个新的NLP任务，旨在理解科学论文中主张之间的复杂关系。与传统的引文分析方法相比，该方法更加细粒度，能够更准确地追踪科学思想的演变。
关键设计：在主张关系分类任务中，可以使用各种神经模型和大型语言模型作为基线模型。论文中报告了使用预训练语言模型进行微调的结果，并使用了宏平均F1值作为评估指标。具体模型结构和超参数设置未在摘要中详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在主张关系分类任务上，使用神经模型和大型语言模型可以达到0.78的宏平均F1值，这表明该任务是可行的，但仍然具有挑战性。对1.3万篇NLP论文的分析发现，63.5%的主张从未被重用，只有11.1%的主张受到挑战，而广泛传播的主张更倾向于通过限定和扩展来重塑。
🎯 应用场景
ClaimFlow可应用于多个领域，例如：科学文献分析、知识图谱构建、科研趋势预测、自动综述生成等。通过追踪科学主张的演变，可以帮助研究人员更好地理解领域内的发展动态，发现潜在的研究方向，并评估模型的科学论证能力。此外，该数据集和任务还可以用于训练能够理解科学文本的AI模型，从而实现更智能的科研辅助工具。
📄 摘要（原文）
Scientific papers do more than report results $-$ they advance $\textit{claims}$ that later work supports, extends, or sometimes refutes. Yet existing methods for citation and claim analysis capture only fragments of this dialogue. In this work, we make these interactions explicit at the level of individual scientific claims. We introduce $\texttt{ClaimFlow}$, a claim-centric view of the NLP literature, built from $304$ ACL Anthology papers (1979$-$2025) that are manually annotated with $1{,}084$ claims and $832$ cross-paper claim relations, indicating whether a citing paper $\textit{supports}$, $\textit{extends}$, $\textit{qualifies}$, $\textit{refutes}$, or references a claim as $\textit{background}$. Using $\texttt{ClaimFlow}$, we define a new task $-$ $\textit{Claim Relation Classification}$ $-$ which requires models to infer the scientific stance toward a cited claim from the text and citation context. Evaluating strong neural models and large language models on this task, we report baseline performance of $0.78$ macro-F1, highlighting that claim-relation classification is feasible but challenging. We further apply our model to $\sim$$13k$ NLP papers to analyze how claims evolve across decades of NLP research. Our analysis reveals that $63.5$% claims are never reused; only $11.1$% are ever challenged; meanwhile, widely propagated claims are more often $\textit{reshaped}$ through qualification and extension than directly confirmed or refuted. Overall, $\texttt{ClaimFlow}$ offers a lens for examining how ideas shift and mature within NLP, and a foundation for assessing whether models can interpret scientific argumentation.