Scoring Both Directions: LLMs realize the MRS they cannot reliably parse

📄 arXiv: 2609.30071v1 📥 PDF

作者: Soham Dan

分类: cs.CL

发布日期: 2026-09-24

💡 一句话要点

评估大型语言模型在MRS解析与生成中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 最小递归语义 英语资源语法 自然语言处理 语义解析 生成任务 BLEU得分 F1分数

📋 核心要点

  1. 现有的解析方法在处理MRS时表现不佳，尤其是在准确性和理解能力上存在明显不足。
  2. 本文通过对大型语言模型进行双向评估，探讨其在MRS生成和解析任务中的能力，提出了一种新的评估框架。
  3. 实验结果显示，Opus在生成任务中取得了76.3的BLEU得分，而在解析任务中，模型的表现仍远低于ACE系统，揭示了当前模型的局限性。

📝 摘要（中文）

本文探讨了英语资源语法（ERG）及其生成的最小递归语义（MRS）在大型语言模型（LLMs）中的应用。研究中，作者对Claude Sonnet 4.5和Claude Opus 5进行了双向评估，比较其在MRS生成和解析任务中的表现。结果显示，Opus在生成任务中表现优异，BLEU得分达到76.3，超越了基于72k对训练的系统。然而，在解析任务中，两者的表现远低于ERG的ACE系统，表明仅依赖生成得分无法证明模型对形式语义表示的理解。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在MRS解析和生成任务中的表现不足，尤其是解析任务中的准确性低下问题。现有方法在理解形式语义表示方面存在显著挑战。

核心思路：通过对Claude Sonnet 4.5和Claude Opus 5进行双向评估，比较其在MRS生成和解析任务中的表现，旨在揭示模型的理解能力和生成能力的差异。

技术框架：研究首先重建了10K句子的测试集，然后在生成和解析两个方向上对模型进行评估，使用BLEU和F1分数作为性能指标。

关键创新：本研究的创新点在于双向评估框架的提出，强调了生成得分与理解能力之间的关系，指出仅依赖生成得分无法证明模型对形式语义的理解。

关键设计：在实验中，使用了ACE作为基准系统，并对模型的输出进行了详细分析，尤其关注生成和解析任务中的准确性和一致性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，Claude Opus在MRS生成任务中取得了76.3的BLEU得分，显著高于基于72k对训练的系统（66.1 BLEU），并与百万对训练的系统（77.2 BLEU）相当。然而，在解析任务中，Sonnet和Opus的F1得分分别为57.2和65.5，远低于ACE的91.0，表明解析能力仍需提升。

🎯 应用场景

该研究为自然语言处理领域提供了新的视角，尤其是在形式语义理解和生成任务中。其结果可用于改进大型语言模型的训练方法，推动更高效的语义解析技术的发展，具有广泛的应用潜力，如智能助手、机器翻译和对话系统等。

📄 摘要（原文）

The English Resource Grammar (ERG) is a hand-written computational grammar of English. Given a sentence, its processor, ACE, produces a formal meaning representation called Minimal Recursion Semantics (MRS): a graph of the sentence's predicates and their arguments. The grammar is bidirectional and can also turn an MRS back into an English sentence. \citet{hajdik2019} used the ERG's treebank to build a benchmark for that generation task, MRS to text, and trained sequence-to-sequence models to solve it. The parsing task, text to MRS, can be tested on the same sentences. We reconstruct their 10K-sentence test split, and score two large language models, Claude Sonnet~4.5 and Claude Opus~5, in both directions against their trained systems and against ACE, with no task-specific training. Given an MRS and three examples, Opus writes the sentence at 76.3 BLEU, ten points above their system trained on 72k pairs (66.1 BLEU), and comparable to their system trained on a million extra pairs (77.2 BLEU). Sonnet scores 65.7 BLEU, and letting it choose among ACE's own candidate sentences lifts it to 69.6, while a pooled judge that keeps Opus's own sentence among the candidates adds 0.6 points (77.0 BLEU). In the parsing direction, however, the models fall far behind ACE: asked for the MRS of the same sentences, they reach 57.2 (Sonnet) and 65.5 (Opus) F$_1$ on the graph's predicates and arguments against 91.0 for ACE, and exact-match the gold on about 1\% of sentences. We characterize the failure modes for the parsing tasks, and conclude that a generation score alone does not show that models understand formal semantic representations.