Toward a Trustworthy Optimization Modeling Agent via Verifiable Synthetic Data Generation

📄 arXiv: 2508.03117v1 📥 PDF

作者: Vinicius Lima, Dzung T. Phan, Jayant Kalagnanam, Dhaval Patel, Nianjun Zhou

分类: cs.AI

发布日期: 2025-08-05

备注: 25 pages

💡 一句话要点

提出可验证合成数据生成框架以训练可信优化建模代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 优化建模 合成数据生成 可信代理 大型语言模型 线性规划 混合整数规划 自动化推理 模型微调

📋 核心要点

  1. 现有的优化建模方法在生成高质量数据和确保结果可验证性方面存在不足，导致模型性能不稳定。
  2. 提出了一种基于可验证合成数据生成的框架，通过结构化符号表示生成自然语言和数学公式，确保数据的质量和可验证性。
  3. 在7个数据集上，OptiTrust代理在6个数据集上取得了最高准确率，且在3个数据集上超越了次优算法至少8个百分点。

📝 摘要（中文）

本文提出了一种通过可验证的合成数据生成管道来训练可信的大型语言模型（LLM）代理的框架。该方法专注于线性和混合整数线性规划，利用结构化符号表示系统地生成自然语言描述、数学公式和可执行代码。通过程序化构建每个实例并确保已知的最优解，管道实现了完全可验证性，并能够自动过滤低质量的示范。每个数据集实例包含优化问题的结构化表示、相应的自然语言描述、经过验证的最优解以及逐步演示，支持对开源LLM进行监督微调。我们还介绍了OptiTrust，一个模块化的LLM代理，能够多阶段翻译自然语言为求解器准备的代码，最终在标准基准测试中实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有优化建模方法在数据生成和结果可验证性方面的不足，尤其是在生成高质量示范和确保模型可靠性的问题。

核心思路：通过构建一个可验证的合成数据生成管道，系统性地生成优化问题的结构化表示、自然语言描述和求解器可执行代码，从而提高数据质量和模型的可信度。

技术框架：该框架包括多个模块，首先是结构化符号表示的生成，其次是自然语言描述和数学公式的构建，最后是生成求解器可执行代码的过程。每个实例都包含已知的最优解和逐步演示。

关键创新：最重要的创新在于通过程序化构建数据实例，确保每个示范的可验证性，并自动过滤低质量示范，与传统方法相比，显著提高了数据的可靠性和模型的性能。

关键设计：在设计中，采用了多语言推理和多数投票交叉验证的策略，确保了模型在不同优化建模语言中的适应性和准确性。

📊 实验亮点

实验结果显示，OptiTrust在7个数据集上表现优异，其中在6个数据集上取得了最高准确率，并在3个数据集上超越了次优算法至少8个百分点，展示了其在优化建模任务中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括工业优化、供应链管理和资源分配等实际问题。通过提供可靠的优化建模工具，能够帮助决策者在复杂环境中做出更有效的决策，提升资源利用效率和降低成本。

📄 摘要（原文）

We present a framework for training trustworthy large language model (LLM) agents for optimization modeling via a verifiable synthetic data generation pipeline. Focusing on linear and mixed-integer linear programming, our approach begins with structured symbolic representations and systematically produces natural language descriptions, mathematical formulations, and solver-executable code. By programmatically constructing each instance with known optimal solutions, the pipeline ensures full verifiability and enables automatic filtering of low-quality demonstrations generated by teacher models. Each dataset instance includes a structured representation of the optimization problem, a corresponding natural language description, the verified optimal solution, and step-by-step demonstrations - generated by a teacher model - that show how to model and solve the problem across multiple optimization modeling languages. This enables supervised fine-tuning of open-source LLMs specifically tailored to optimization tasks. To operationalize this pipeline, we introduce OptiTrust, a modular LLM agent that performs multi-stage translation from natural language to solver-ready code, leveraging stepwise demonstrations, multi-language inference, and majority-vote cross-validation. Our agent achieves state-of-the-art performance on standard benchmarks. Out of 7 datasets, it achieves the highest accuracy on six and outperforms the next-best algorithm by at least 8 percentage on three of them. Our approach provides a scalable, verifiable, and principled path toward building reliable LLM agents for real-world optimization applications.