ASTOR: Benchmarking and Improving Autoformulation for Soft-Constraint Optimization with a Formal Grammar

📄 arXiv: 2610.26819v1 📥 PDF

作者: Amer Goel, Yeganeh Alimohammadi, Andrew Daw

分类: cs.CL

发布日期: 2026-10-19

💡 一句话要点

提出ASTOR框架以改进软约束优化问题的自动公式化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 软约束优化 自动公式化 抽象语法树 自然语言处理 决策支持系统

📋 核心要点

  1. 现有方法通常忽视软约束，导致无法有效解决许多实际决策问题。
  2. ASTOR框架通过将自然语言问题映射到抽象语法树，改进了自动公式化过程。
  3. ASTOR在SoftOR基准上表现优异，整体准确性优于其他方法，同时在硬约束基准上也具竞争力。

📝 摘要（中文）

现实世界的决策问题通常涉及两种不同性质的约束：必须满足的硬约束和可以违反的软约束。尽管现有研究利用大型语言模型（LLMs）将自然语言描述转化为可执行的数学优化模型，但往往忽视了软约束。本文提出ASTOR，一个推理时框架，通过将自然语言决策问题映射到语法引导的抽象语法树（AST），并将其编译为可执行的优化代码。同时，我们引入了SoftOR，一个统一的自然语言问题基准，专注于软约束的公式化。在SoftOR上，ASTOR在可比的单请求和多代理LLM方法中实现了最佳的整体准确性，同时在仅包含硬约束的标准自动公式化基准上也保持竞争力。

🔬 方法详解

问题定义：本文旨在解决在自然语言描述中有效建模软约束的问题。现有方法多集中于硬约束，导致无法满足实际应用中的需求。

核心思路：ASTOR框架的核心思想是通过语法引导的抽象语法树（AST）将自然语言问题转化为可执行的优化模型，从而更好地处理软约束。

技术框架：ASTOR的整体架构包括自然语言输入、语法分析、AST生成和优化代码编译四个主要模块。每个模块协同工作，以确保高效的自动公式化。

关键创新：ASTOR的主要创新在于引入了对软约束的系统性建模，填补了现有方法的空白，使得决策问题的表达更加全面。

关键设计：在设计中，ASTOR采用了特定的语法规则和损失函数，以确保生成的AST能够准确反映软约束的特性，同时优化代码的生成过程也经过精心调试，以提高执行效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在SoftOR基准测试中，ASTOR实现了最佳的整体准确性，超越了其他单请求和多代理LLM方法。同时，在仅包含硬约束的标准自动公式化基准上，ASTOR也保持了竞争力，显示出其在处理复杂决策问题中的有效性。

🎯 应用场景

ASTOR框架在决策支持系统、资源分配、项目管理等领域具有广泛的应用潜力。通过更好地处理软约束，ASTOR能够帮助决策者在复杂环境中做出更为合理的选择，提升决策质量和效率。未来，随着更多领域对软约束建模的需求增加，ASTOR的影响力将进一步扩大。

📄 摘要（原文）

Real-world decision problems combine two qualitatively different kinds of constraints: requirements that must be satisfied, called hard constraints, and preferences that can be violated, called soft constraints. Because these problems are often posed to decision-makers in natural language, large language models offer a natural tool for assisting with their solution. This has given rise to autoformulation, which focuses on using LLMs to translate natural-language descriptions of decision problems into executable mathematical optimization models. However, this research often neglects soft constraints like those proposed by consumers, managers, and planners, despite the fact that many practical problems require modeling them explicitly. We introduce ASTOR, an inference-time framework that maps a natural-language decision problem to a grammar-guided abstract syntax tree (AST) before deterministically compiling the resulting representation into executable optimization code. We also introduce SoftOR, a unified benchmark of natural language problems which focuses on soft constraint formulations. On SoftOR, ASTOR achieves the best aggregate accuracy among comparable single-request and multi-agent LLM methods while remaining competitive on standard autoformulation benchmarks that include only hard constraints. Code and data are available at https://anonymous.4open.science/r/astor-softor-iclr-E34C/README.md.