HARPO: Hallucination-Aware Reinforcement Learning for Faithful and Creative Language Generation

📄 arXiv: 2610.03063v1 📥 PDF

作者: Tiezheng Yu, Yuxin Jiang, Jinpeng Li, Shuning Sun, Fei Mi, Haoli Bai, Lifeng Shang

分类: cs.CL

发布日期: 2026-10-02

备注: 11 pages

💡 一句话要点

提出HARPO框架以解决语言生成中的幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言生成 幻觉检测 强化学习 生成模型 写作质量

📋 核心要点

  1. 现有大型语言模型在生成内容时常出现幻觉现象，导致生成结果的可靠性不足，尤其在知识密集型任务中表现不佳。
  2. HARPO框架通过引入幻觉感知生成奖励模型（HA-GRM）和选择性激活机制（SAM），实现了对生成内容的真实性和创造性的联合优化。
  3. 在多个实验中，HARPO显著降低了幻觉生成率，并提高了创作质量，例如在Qwen3-4B模型上，幻觉率从3.29%降至1.02%。

📝 摘要（中文）

大型语言模型（LLMs）在知识密集型任务中容易生成幻觉内容，影响其可靠性。为了解决这一挑战而不牺牲创造力，本文提出了HARPO，一个强化学习框架，旨在共同优化生成的真实性和创造性。HARPO结合了通过可验证反馈训练的幻觉感知生成奖励模型（HA-GRM），用于评估生成内容的真实性和写作质量。选择性激活机制（SAM）仅对HA-GRM判断为无幻觉的输出激活写作奖励，而数据课程则逐步将训练从创造性写作转向幻觉中心任务。在RAGTruth数据集上，基于Qwen3-4B的HA-GRM实现了78.08%的响应级F1分数，相较于66.37%的监督微调基线有显著提升。实验表明，HARPO在多个模型上均提高了生成的真实性和写作质量。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成过程中产生幻觉内容的问题。现有方法往往无法有效平衡生成内容的真实性与创造性，导致生成结果的可靠性不足。

核心思路：HARPO框架通过引入幻觉感知生成奖励模型（HA-GRM），利用可验证反馈来评估生成内容的真实性和写作质量，从而实现对生成内容的优化。

技术框架：HARPO的整体架构包括HA-GRM、选择性激活机制（SAM）和数据课程。HA-GRM用于评估生成内容的质量，SAM确保只有无幻觉的输出才能获得奖励，而数据课程则逐步引导模型从创造性写作转向幻觉检测任务。

关键创新：HARPO的主要创新在于其幻觉感知生成奖励模型（HA-GRM）和选择性激活机制（SAM），这使得模型能够在保持创造性的同时有效降低幻觉生成率，与传统方法相比具有显著优势。

关键设计：在HA-GRM的训练中，采用了可验证反馈机制，确保模型能够准确评估生成内容的真实性。此外，SAM的设计使得奖励机制更加灵活，能够根据生成内容的质量动态调整奖励。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

HARPO在多个实验中表现出色，特别是在Qwen3-4B模型上，HA-GRM的响应级F1分数达到78.08%，相比于监督微调基线的66.37%有显著提升。此外，HARPO将幻觉率从3.29%降低至1.02%，同时创作评分从16.95%提升至27.54%。

🎯 应用场景

HARPO框架在语言生成领域具有广泛的应用潜力，尤其适用于需要高可靠性和创造性的任务，如自动写作、对话系统和内容创作等。通过提高生成内容的真实性，HARPO能够增强用户对生成模型的信任，并推动智能写作工具的发展。

📄 摘要（原文）

Large Language Models (LLMs) are prone to generating hallucinated content, which compromises their reliability in knowledge-intensive tasks. To address this challenge without sacrificing creativity, we propose HARPO, a reinforcement learning framework designed to jointly optimize faithfulness and creativity. HARPO incorporates a Hallucination-Aware Generative Reward Model (HA-GRM), trained via verifiable feedback, to assess both faithfulness and writing quality. A Selective Activation Mechanism (SAM) activates writing rewards only for outputs judged hallucination-free by HA-GRM, while a data curriculum progressively shifts training from creative writing to hallucination-centric tasks. On RAGTruth, our Qwen3-4B-based HA-GRM achieves a response-level F1 score of 78.08%, compared with 66.37% for the supervised fine-tuning baseline. Experiments on Qwen2.5 and Qwen3 models from 1.7B to 8B parameters show improvements in both faithful generation and writing quality. On Qwen3-4B, HARPO reduces the HA-GRM-judged hallucination rate on MultiHopRAG from 3.29% to 1.02%, while increasing the Arena-Hard-v2.0 creative-writing score from 16.95% to 27.54%.