An Empirical Study of Recent Large Language Models for Knowledge Graph to Text Generation on Standard Benchmarks

📄 arXiv: 2610.31529v1 📥 PDF

作者: Priyanka, Renaud Delbru, Souhail Bakkali, Mickaël Coustaty, Antoine Doucet

分类: cs.CL

发布日期: 2026-10-22

备注: 18 pages, 6 figures, 17 tables, Preprint, Under review

💡 一句话要点

基于大型语言模型的知识图谱到文本生成研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 文本生成 大型语言模型 生成质量 基准测试 图基础评估 自然语言处理

📋 核心要点

  1. 现有的微调编码器-解码器模型在知识图谱到文本生成中存在生成质量不稳定的问题。
  2. 本文通过基准测试比较了最新的大型语言模型与传统微调模型，探索其在生成质量上的表现差异。
  3. 实验结果表明，最新的LLMs在图基础评估中表现优于微调模型，并在生成过程中减少了矛盾和遗漏。

📝 摘要（中文）

知识图谱到文本生成（KG-to-text）旨在将一组知识图谱三元组转化为流畅的自然语言。尽管经过微调的编码器-解码器模型长期以来是标准方法，但最近的大型语言模型（LLMs）正变得越来越具竞争力。本文通过基准测试对比了最新的LLMs与微调的编码器-解码器模型，使用基于参考的指标和图基础的无参考LLM评估，并与人工注释进行了验证。研究发现，最新的LLMs在基于参考的指标上显著缩小了与微调模型的差距，并在多个设置中接近，同时在图基础的指标上表现更佳。LLM评估分数与基于参考的指标之间的相关性有限，表明这两种方法捕捉生成质量的不同方面。图基础评估显示，提示模型产生的矛盾和三元组遗漏比微调模型少，且随着图大小的增加，微调模型的错误更快增加，这突显了两种方法之间的差异。

🔬 方法详解

问题定义：本文旨在解决知识图谱到文本生成中微调模型生成质量不稳定的问题，尤其是在处理大规模知识图谱时的矛盾和遗漏现象。

核心思路：通过对比最新的大型语言模型与传统微调模型，探索两者在生成质量上的差异，特别是在图基础评估中的表现。

技术框架：研究采用基准测试的方法，使用基于参考的指标和图基础的无参考评估，结合人工注释进行验证，整体流程包括模型训练、评估和结果分析。

关键创新：本文的创新在于引入了图基础评估，揭示了提示模型在生成过程中减少矛盾和遗漏的能力，强调了与传统方法的本质区别。

关键设计：在实验中，采用了多种评估指标，包括参考基准和图基础指标，确保评估的全面性和准确性，同时对模型的提示设计进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最新的大型语言模型在基于参考的指标上显著缩小了与微调模型的差距，在某些设置中几乎达到相同水平。同时，在图基础评估中，提示模型的表现优于微调模型，减少了矛盾和三元组遗漏，表明其在生成质量上的提升。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动内容生成和知识管理等。通过提高知识图谱到文本生成的质量，能够更好地支持信息检索和知识传播，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge graph-to-text (KG-to-text) generation verbalizes a set of knowledge graph triples into fluent natural language. While fine-tuned encoder-decoder models have long been the standard approach, recent LLMs are becoming increasingly competitive. We benchmark recent LLMs against fine-tuned encoder-decoder models, using reference-based metrics and graph-grounded reference-free LLM-based evaluation validated against human annotations. We observed that recent LLMs substantially narrow, and in several settings close, the gap with fine-tuned models on reference-based metrics, while performing better on graph-grounded metrics. LLM-based evaluation scores show limited correlation with reference-based metrics, suggesting that the two approaches capture different aspects of generation quality. Graph-grounded evaluation reveals that prompted models produce fewer contradictions and triple omissions than fine-tuned models, and these errors increase more rapidly with graph size for fine-tuned models, highlighting differences between the two approaches that reference-based metrics may not fully capture.