From Abstraction to Action: DSLs for Natural Language Abstraction Interpretation and Execution

📄 arXiv: 2610.28311v1 📥 PDF

作者: Amit Lisha, Reut Tsarfaty

分类: cs.CL

发布日期: 2026-10-20

💡 一句话要点

提出领域特定语言以解决自然语言抽象指令解析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 领域特定语言 抽象指令 代码生成 机器人控制 人机交互

📋 核心要点

  1. 现有语言模型在解析高层次抽象指令时表现不佳，导致性能下降。
  2. 本文提出领域特定语言（DSL）作为一种明确的表示层，以帮助解析和执行自然语言指令。
  3. 实验结果显示，使用人工策划的DSL进行代码生成可显著提高性能，尤其在高抽象层次上，提升幅度可达10个绝对F1点。

📝 摘要（中文）

自然语言指令常依赖于高层次抽象，例如要求代理“将方块堆成金字塔”。解析抽象指令需要模型识别说话者意图的抽象，并将其展开为具体动作。现有语言模型在高抽象层次的指令上表现不佳。为此，本文提出借鉴领域特定语言（DSL）的概念，作为明确的表示层，记录可扩展为具体动作的抽象。通过在视觉基础的指令跟随任务Hexagons上进行实验，结果表明，代码生成在性能上显著优于直接推理，尤其在高抽象层次上，达到了人类水平。尽管模型诱导的DSL表现不如人工策划的DSL，但为研究提供了新的方向。

🔬 方法详解

问题定义：本文旨在解决自然语言指令中高层次抽象的解析与执行问题。现有语言模型在处理高抽象指令时，性能显著下降，难以有效展开为具体动作。

核心思路：提出领域特定语言（DSL）作为一种明确的表示层，记录常见抽象并将其扩展为具体动作。通过这种方式，模型能够更好地理解和执行高层次的自然语言指令。

技术框架：整体架构包括自然语言输入解析、DSL生成、代码生成和动作执行四个主要模块。首先解析输入的自然语言指令，然后生成相应的DSL，接着通过DSL生成具体的代码，最后执行这些代码以完成任务。

关键创新：最重要的创新在于引入DSL作为中介层，显著提高了模型在高抽象层次上的性能。这一方法与传统的直接推理方式本质上不同，后者未能有效处理抽象概念。

关键设计：在模型设计中，采用了特定的损失函数以优化代码生成的准确性，并通过人类策划的DSL进行训练，确保模型能够学习到有效的抽象与具体动作之间的映射关系。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用人工策划的DSL进行代码生成相比直接推理提升了性能，尤其在高抽象层次上，F1分数提升可达10个绝对点，达到人类水平。这一发现强调了DSL在自然语言理解中的重要性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能助手和自动化系统等，能够帮助这些系统更好地理解和执行人类的自然语言指令。通过提升高层次抽象指令的解析能力，未来可能实现更自然的人机交互，推动智能系统的广泛应用。

📄 摘要（原文）

Natural-language instructions often rely on high-level abstractions, such as asking an agent to ``stack blocks in a pyramid.'' Interpreting abstract instructions requires models to both identify the abstraction intended by the speaker, and unroll it into the many concrete actions that instantiate it. Language models struggle here: prior work has shown that performance degrades as the level of abstraction in the instruction rises. To bridge the gap between natural language abstraction and concrete actions, we propose to borrow from coding environments the notion of a {\em domain-specific language} (DSL), an explicit representation layer whose documented primitives name recurring abstractions that expand into concrete actions. We demonstrate the efficacy of DSLs for NL interpretation on \textsc{Hexagons}, a visually-grounded instruction-following task graded for abstraction. We further ask whether language models can induce such DSLs themselves from domain data. Our results show that while code generation consistently improves over direct inference, code generation over a human-curated DSL yields dramatic gains, up to 10 absolute F1 points, reaching the human skyline, with gains concentrated at {\em higher} abstraction levels. We confirm this pattern on the \textsc{Text2CAD} benchmark. At the same time, model-induced DSLs recover only part of this gain, remaining inconsistent across runs and short of their human-curated counterpart. Overall, the right representation closes much of the gap caused by high abstraction --- but inducing that layer of representation automatically is where models still fall short, and where we see a strong opportunity for the community to make progress.