SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation

📄 arXiv: 2507.13381v2 📥 PDF

作者: Rafiq Kamel, Filippo Guerranti, Simon Geisler, Stephan Günnemann

分类: cs.CL, cs.LG

发布日期: 2025-07-15 (更新: 2025-12-10)

备注: Accepted at the KDD2025 Workshop on Structured Knowledge for LLMs

💡 一句话要点

SAFT：一种结构感知的LLM微调方法，用于AMR到文本的生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AMR到文本生成 大型语言模型 图神经网络 结构感知 磁拉普拉斯算子

📋 核心要点

  1. 现有AMR到文本生成方法忽略了AMR的图结构信息，或使用了与标准LLM不兼容的架构。
  2. SAFT通过计算方向敏感的位置编码，将图拓扑信息注入到预训练LLM的嵌入空间中。
  3. SAFT在AMR 3.0数据集上取得了state-of-the-art的结果，BLEU值比基线提高了3.5。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地应用于涉及结构化输入（如图）的任务。抽象意义表示（AMR）将丰富的语义编码为有向图，为评估LLMs从此类结构生成文本提供了一个严格的测试平台。然而，当前的方法通常随意地线性化AMR，丢弃了关键的结构线索，或者依赖于与标准LLMs不兼容的架构。我们引入了SAFT，一种结构感知的微调方法，它将图拓扑注入到预训练的LLMs中，而无需架构更改。我们从转换后的AMR的磁拉普拉斯算子计算方向敏感的位置编码，并将它们投影到LLM的嵌入空间中。虽然可能适用于任何图结构化输入，但我们专注于AMR到文本的生成，作为一个具有代表性和挑战性的基准。SAFT在AMR 3.0上创造了新的state-of-the-art，比基线提高了3.5 BLEU。增益随着图复杂性的增加而扩大，突出了结构感知表示在增强LLM性能方面的价值。SAFT为桥接结构化数据和语言模型提供了一条通用且有效的途径。

🔬 方法详解

问题定义：论文旨在解决AMR（抽象意义表示）到文本生成任务中，现有方法无法有效利用AMR图结构信息的问题。现有方法要么随意线性化AMR，丢失结构信息，要么使用与标准LLM不兼容的架构，限制了LLM的潜力。

核心思路：论文的核心思路是将AMR的图结构信息编码为方向敏感的位置编码，并将其注入到预训练LLM的嵌入空间中。这样可以在不改变LLM架构的前提下，让LLM感知到AMR的图结构，从而提高生成文本的质量。

技术框架：SAFT方法主要包含以下几个步骤：1. 对AMR图进行转换，例如添加反向边等。2. 计算转换后AMR图的磁拉普拉斯算子。3. 从磁拉普拉斯算子计算方向敏感的位置编码。4. 将位置编码投影到预训练LLM的嵌入空间中。5. 使用微调后的LLM进行AMR到文本的生成。

关键创新：SAFT的关键创新在于使用磁拉普拉斯算子计算方向敏感的位置编码，从而有效地将AMR的图结构信息注入到LLM中。与现有方法相比，SAFT不需要改变LLM的架构，并且能够更好地保留AMR的结构信息。

关键设计：论文中使用了磁拉普拉斯算子来捕捉AMR图中的节点连接和边的方向信息。具体来说，磁拉普拉斯算子的定义考虑了边的方向，使得计算出的位置编码能够区分不同方向的连接。此外，论文还设计了一个投影层，将位置编码映射到LLM的嵌入空间中，以便LLM能够更好地理解这些编码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAFT在AMR 3.0数据集上取得了显著的性能提升，BLEU值比现有最佳基线提高了3.5。实验结果表明，SAFT方法能够有效利用AMR的图结构信息，并且随着图复杂性的增加，性能提升更加明显。这验证了结构感知表示在增强LLM性能方面的价值。

🎯 应用场景

SAFT方法具有广泛的应用前景，可以应用于各种需要从图结构数据生成文本的任务，例如知识图谱到文本的生成、代码到文本的生成等。该方法能够有效利用图结构信息，提高生成文本的质量和可读性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly applied to tasks involving structured inputs such as graphs. Abstract Meaning Representations (AMRs), which encode rich semantics as directed graphs, offer a rigorous testbed for evaluating LLMs on text generation from such structures. Yet, current methods often arbitrarily linearize AMRs, discarding key structural cues, or rely on architectures incompatible with standard LLMs. We introduce SAFT, a structure-aware fine-tuning approach that injects graph topology into pretrained LLMs without architectural changes. We compute direction-sensitive positional encodings from the magnetic Laplacian of transformed AMRs and project them into the embedding space of the LLM. While possibly applicable to any graph-structured inputs, we focus on AMR-to-text generation as a representative and challenging benchmark. SAFT sets a new state-of-the-art on AMR 3.0 with a 3.5 BLEU improvement over baselines. Gains scale with graph complexity, highlighting the value of structure-aware representations in enhancing LLM performance. SAFT offers a general and effective pathway for bridging structured data and language models.