ALiiCE: Evaluating Positional Fine-grained Citation Generation

📄 arXiv: 2406.13375v3 📥 PDF

作者: Yilong Xu, Jinhua Gao, Xiaoming Yu, Baolong Bi, Huawei Shen, Xueqi Cheng

分类: cs.CL

发布日期: 2024-06-19 (更新: 2026-02-02)

备注: NAACL 2025 Main Conference (Long paper)

💡 一句话要点

提出ALiiCE框架，用于评估LLM在句子内位置粒度上的引文生成质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 引文生成 大型语言模型 自动评估 依存树解析 位置粒度 长篇问答 自然语言处理

📋 核心要点

  1. 现有引文生成研究主要集中在句子级别，忽略了句子内位置粒度的引文需求。
  2. ALiiCE框架通过依存树解析句子为原子声明，并评估引文在细粒度位置上的质量。
  3. 实验表明ALiiCE能有效评估LLM在长篇问答中生成位置粒度引文的表现。

📝 摘要（中文）

大型语言模型（LLM）可以通过生成带有引文的文本来增强其可信度和可验证性。然而，现有的引文生成研究主要局限于句子级别的陈述，忽略了可以出现在句子内任何位置的位置粒度引文的重要性。为了促进对位置粒度引文生成的进一步探索，我们提出了ALiiCE，这是第一个用于此任务的自动评估框架。我们的方法采用基于依存树的方法将句子级别的声明解析为原子声明。然后，ALiiCE使用三个指标评估引文质量，包括位置粒度引文召回率、精确率和引文位置的变异系数。我们在长篇问答数据集上评估了几个LLM的位置粒度引文生成性能。我们的实验和分析证明了ALiiCE的有效性和合理性。我们对当前位置粒度引文生成任务的进展和未来方向提供了见解。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在生成文本时，如何在句子内部的精确位置添加引文的问题。现有方法主要关注句子级别的引文生成，无法评估或优化模型在句子内部不同位置添加引文的准确性和相关性。这种忽略导致生成的文本虽然有引文，但引文可能与句子中的特定部分不对应，降低了文本的可信度和可验证性。

核心思路：论文的核心思路是将句子级别的声明分解为更小的、原子级别的声明，然后评估模型在这些原子声明级别上生成引文的准确性和位置。通过这种细粒度的评估，可以更精确地衡量模型是否能够将引文与句子中的特定信息关联起来。

技术框架：ALiiCE框架主要包含以下几个阶段：1) 原子声明提取：使用基于依存树的方法将句子级别的声明解析为原子声明。2) 引文生成：利用大型语言模型生成带有引文的文本。3) 引文评估：使用三个指标评估引文质量，包括位置粒度引文召回率、精确率和引文位置的变异系数。框架的整体流程是从输入句子开始，经过原子声明提取，然后由LLM生成带有引文的文本，最后通过ALiiCE的评估指标来衡量生成引文的质量。

关键创新：ALiiCE的关键创新在于提出了一个针对位置粒度引文生成的自动评估框架。与现有方法只关注句子级别引文生成不同，ALiiCE能够评估引文在句子内部的精确位置，从而更准确地衡量模型生成引文的质量。此外，ALiiCE还提出了新的评估指标，如位置粒度引文召回率、精确率和引文位置的变异系数，这些指标能够更全面地反映模型在位置粒度引文生成方面的表现。

关键设计：ALiiCE的关键设计包括：1) 依存树解析：使用依存树解析技术将句子分解为原子声明，这使得能够更精确地评估引文与句子中特定信息的关系。2) 评估指标：设计了位置粒度引文召回率、精确率和引文位置的变异系数等评估指标，这些指标能够更全面地反映模型在位置粒度引文生成方面的表现。3) 长篇问答数据集：选择长篇问答数据集作为评估平台，因为长篇问答通常需要更精确的引文生成，这使得ALiiCE能够更好地发挥其优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ALiiCE能够有效评估LLM在长篇问答数据集上的位置粒度引文生成性能。通过ALiiCE的评估，研究者可以发现不同LLM在位置粒度引文生成方面的优缺点，并针对性地进行改进。实验还表明，现有的LLM在位置粒度引文生成方面仍有很大的提升空间，这为未来的研究提供了方向。

🎯 应用场景

该研究成果可应用于提升大型语言模型生成文本的可信度和可验证性，尤其是在需要精确引用的场景，如学术写作、新闻报道、法律文件生成等。ALiiCE框架能够帮助开发者评估和改进LLM在位置粒度引文生成方面的能力，从而提高生成文本的质量和可靠性。未来，该研究可以扩展到其他语言和领域，并与其他自然语言处理技术相结合，以实现更智能化的引文生成。

📄 摘要（原文）

Large Language Model (LLM) can enhance its credibility and verifiability by generating text with citations. However, existing research on citation generation is predominantly limited to sentence-level statements, neglecting the significance of positional fine-grained citations that can appear anywhere within sentences. To facilitate further exploration of the positional fine-grained citation generation, we propose ALiiCE, the first automatic evaluation framework for this task. Our method employs a dependency tree based approach to parse the sentence-level claim into atomic claims. Then ALiiCE evaluates citation quality using three metrics, including positional fine-grained citation recall, precision, and coefficient of variation of citation positions. We evaluate the positional fine-grained citation generation performance of several LLMs on long-form QA datasets. Our experiments and analyses demonstrate the effectiveness and reasonableness of ALiiCE. We offer our insights into the current advancements and future directions for the positional fine-grained citation generation task.