LoGU: Long-form Generation with Uncertainty Expressions

📄 arXiv: 2410.14309v4 📥 PDF

作者: Ruihan Yang, Caiqi Zhang, Zhisong Zhang, Xinting Huang, Sen Yang, Nigel Collier, Dong Yu, Deqing Yang

分类: cs.CL, cs.AI

发布日期: 2024-10-18 (更新: 2025-06-04)

备注: ACL 2025 Main

💡 一句话要点

提出LoGU框架，通过不确定性表达提升长文本生成的事实准确性并减少幻觉。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本生成 不确定性表达 幻觉抑制 数据细化 监督微调 直接偏好优化 语言模型

📋 核心要点

  1. 现有大型语言模型在长文本生成中易产生幻觉，缺乏有效的不确定性表达机制。
  2. 论文提出基于细化的数据收集框架和两阶段训练流程，提升模型不确定性表达能力。
  3. 实验结果表明，该方法显著提高了长文本生成的准确性，减少了幻觉，并保持了文本的全面性。

📝 摘要（中文）

大型语言模型（LLM）在生成内容时常出现事实性错误（即幻觉）。一个有希望的缓解方法是使模型在不确定时能够表达不确定性。以往关于不确定性建模的研究主要集中在短文本问答上，但实际应用通常需要更长的回复。本文提出了长文本生成中的不确定性表达（LoGU）任务。我们识别了两个关键挑战：不确定性抑制（模型不愿表达不确定性）和不确定性错位（模型不准确地表达不确定性）。为了应对这些挑战，我们提出了一个基于细化的数据收集框架和一个两阶段训练流程。我们的框架采用分而治之的策略，基于原子声明细化不确定性。收集到的数据随后通过监督微调（SFT）和直接偏好优化（DPO）用于训练，以增强不确定性表达。在三个长文本指令遵循数据集上的大量实验表明，我们的方法显著提高了准确性，减少了幻觉，并保持了回复的全面性。

🔬 方法详解

问题定义：论文旨在解决长文本生成中大型语言模型容易产生幻觉，且缺乏有效表达不确定性的问题。现有方法主要集中在短文本问答，无法有效应对长文本生成中复杂的事实依赖和推理链条，导致模型在不确定时无法准确表达，甚至过度自信地生成错误信息。

核心思路：论文的核心思路是通过细化不确定性表达，使模型能够针对长文本中的每个原子声明进行不确定性评估，并准确地表达出来。通过分而治之的策略，将复杂长文本分解为更小的、易于评估的单元，从而降低不确定性表达的难度。

技术框架：该方法包含一个基于细化的数据收集框架和一个两阶段训练流程。数据收集框架首先将长文本分解为原子声明，然后人工标注每个声明的不确定性。两阶段训练流程首先使用监督微调（SFT）训练模型生成带有不确定性表达的长文本，然后使用直接偏好优化（DPO）进一步优化模型的不确定性表达能力，使其更符合人类的偏好。

关键创新：该方法的关键创新在于提出了一个针对长文本生成的不确定性表达框架，并设计了相应的数据收集和训练流程。与以往主要关注短文本问答的不确定性建模方法不同，该方法能够有效应对长文本生成中的复杂性和挑战。此外，基于原子声明细化不确定性表达的策略，使得模型能够更准确地评估和表达不确定性。

关键设计：数据收集框架采用人工标注的方式，确保不确定性标注的准确性。两阶段训练流程中，SFT阶段使用交叉熵损失函数，DPO阶段使用基于偏好的损失函数。具体参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在三个长文本指令遵循数据集上显著提高了准确性，减少了幻觉，并保持了回复的全面性。具体的性能数据和提升幅度在论文中未详细说明，属于未知信息。但总体而言，实验结果验证了该方法在长文本生成中有效提升不确定性表达能力，并改善生成质量。

🎯 应用场景

该研究成果可应用于各种需要生成长文本的场景，例如自动报告生成、智能客服、内容创作等。通过提升生成文本的事实准确性和减少幻觉，可以提高用户对生成内容的信任度，并降低因错误信息带来的风险。未来，该技术有望进一步发展，实现更智能、更可靠的长文本生成。

📄 摘要（原文）

While Large Language Models (LLMs) demonstrate impressive capabilities, they still struggle with generating factually incorrect content (i.e., hallucinations). A promising approach to mitigate this issue is enabling models to express uncertainty when unsure. Previous research on uncertainty modeling has primarily focused on short-form QA, but realworld applications often require much longer responses. In this work, we introduce the task of Long-form Generation with Uncertainty(LoGU). We identify two key challenges: Uncertainty Suppression, where models hesitate to express uncertainty, and Uncertainty Misalignment, where models convey uncertainty inaccurately. To tackle these challenges, we propose a refinement-based data collection framework and a two-stage training pipeline. Our framework adopts a divide-and-conquer strategy, refining uncertainty based on atomic claims. The collected data are then used in training through supervised fine-tuning (SFT) and direct preference optimization (DPO) to enhance uncertainty expression. Extensive experiments on three long-form instruction following datasets show that our method significantly improves accuracy, reduces hallucinations, and maintains the comprehensiveness of responses.