Knowledge-to-Verification: Exploring RLVR for LLMs in Knowledge-Intensive Domains

📄 arXiv: 2605.18261v1 📥 PDF

作者: Zhonghang Yuan, Zhefan Wang, Fang Hu, Zihong Chen, Jinzhe Li, Gang Li, Jie Ying, Huanjun Kong, Songyang Zhang, Nanqing Dong

分类: cs.CL

发布日期: 2026-05-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出K2V框架，通过可验证数据自动合成增强LLM在知识密集型领域的推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识密集型领域 强化学习 可验证奖励 大型语言模型 自动数据合成 推理验证 知识图谱 问答系统

📋 核心要点

  1. 现有RLVR方法在知识密集型领域面临高质量可验证数据稀缺的挑战，限制了其应用。
  2. K2V框架通过自动合成可验证数据，并对LLM的推理过程进行验证，扩展了RLVR的应用。
  3. 实验表明，K2V在提升LLM知识密集型领域推理能力的同时，保持了模型的通用能力。

📝 摘要（中文）

本文提出了一种名为Knowledge-to-Verification (K2V) 的框架，旨在通过可验证奖励的强化学习 (RLVR) 提升大型语言模型 (LLM) 在知识密集型领域的推理能力。由于高质量可验证数据的稀缺，以及现有RLVR方法仅关注最终答案的正确性而忽略推理过程的缺陷，导致其在知识密集型领域的应用受限。K2V通过自动合成可验证数据，并对LLM的推理过程进行验证，从而扩展了RLVR的应用范围。实验结果表明，K2V在不显著降低模型通用能力的前提下，有效提升了LLM在知识密集型领域的推理能力。该研究表明，将自动数据合成与推理验证相结合是增强模型在更广泛领域能力的一个有希望的方向。

🔬 方法详解

问题定义：现有基于可验证奖励的强化学习（RLVR）方法在知识密集型领域面临两大挑战：一是缺乏高质量的可验证数据，二是仅关注最终答案的正确性，忽略了推理过程的正确性，导致奖励信号稀疏，无法有效指导模型学习。

核心思路：K2V的核心思路是利用自动化的数据合成技术，生成高质量的可验证数据，并在此基础上，不仅验证最终答案的正确性，还验证推理过程的每一步是否合理。通过这种方式，可以更有效地训练LLM，使其在知识密集型领域具备更强的推理能力。

技术框架：K2V框架主要包含两个阶段：数据合成阶段和强化学习训练阶段。在数据合成阶段，利用知识图谱或领域知识库，自动生成包含问题、推理过程和答案的可验证数据。在强化学习训练阶段，使用生成的数据训练LLM，并根据推理过程的正确性给予奖励。整体流程是先构建知识图谱或领域知识库，然后利用这些知识自动生成训练数据，最后使用RLVR训练LLM。

关键创新：K2V的关键创新在于将自动数据合成与推理过程验证相结合。与传统的RLVR方法相比，K2V不再依赖人工标注的可验证数据，而是通过自动化的方式生成数据，大大降低了数据获取的成本。同时，K2V不仅验证最终答案的正确性，还验证推理过程的每一步是否合理，从而提供了更丰富的奖励信号，更有效地指导模型学习。

关键设计：数据合成阶段的关键设计在于如何利用知识图谱或领域知识库生成高质量的可验证数据。这可能涉及到一些规则的设计，例如，如何从知识图谱中选择合适的实体和关系，如何生成合理的推理步骤等。强化学习训练阶段的关键设计在于如何定义奖励函数，既要考虑最终答案的正确性，也要考虑推理过程的合理性。具体的参数设置、损失函数和网络结构等细节，论文中可能没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，K2V框架能够有效提升LLM在知识密集型领域的推理能力，且不会显著降低模型的通用能力。具体的性能数据和对比基线在论文中有所展示，但这里无法提供具体的数值。该研究证明了自动数据合成与推理验证相结合是增强模型在知识密集型领域能力的一个有效途径。

🎯 应用场景

K2V框架可应用于问答系统、智能客服、知识图谱推理等知识密集型领域。通过提升LLM在这些领域的推理能力，可以提高系统的准确性和可靠性，为用户提供更优质的服务。未来，该研究可以扩展到更广泛的知识密集型任务，例如医疗诊断、金融分析等。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has demonstrated promising potential to enhance the reasoning capabilities of large language models (LLMs) in domains such as mathematics and coding. However, its applications on knowledge-intensive domains have not been effectively explored due to the scarcity of high-quality verifiable data. Furthermore, current RLVR focuses solely on the correctness of final answers, leading to the limitations of flawed reasoning and sparse reward signals. In this work, we propose Knowledge-to-Verification (K2V), a framework that extends RLVR to knowledge-intensive domains through automated verifiable data synthesis, while enabling verification of the LLM's reasoning process. Extensive experiments demonstrate that K2V enhances the reasoning of LLM in knowledge-intensive domains without significantly compromising the model's general capabilities. This study also suggests that integrating automated data synthesis with reasoning verification is a promising direction to enhance model capabilities in these broader domains. Code is available at https://github.com/SeedScientist/K2V.