Opt-Verifier: Unleashing the Power of LLMs for Optimization Modeling via Dual-Side Verification

📄 arXiv: 2605.29556v1 📥 PDF

作者: Haoyang Liu, Jie Wang, Boxuan Niu, Xiongwei Han, Yian Xu, Mingxuan Ye, Zijie Geng, Fangzhou Zhu, Tao Zhong, Mingxuan Yuan, Jianye Hao

分类: cs.AI

发布日期: 2026-05-28

期刊: International Conference on Machine Learning (ICML), 2026

💡 一句话要点

Opt-Verifier：利用双侧验证释放LLM在优化建模中的潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 优化建模 双侧验证 运筹学 模型验证

📋 核心要点

  1. 现有方法难以验证LLM生成的优化模型的正确性，缺乏对约束合理性和解有效性的检查，影响建模精度。
  2. Opt-Verifier框架采用双侧验证，从结构侧验证模型结构与问题描述的一致性，从解侧验证解的有效性和合理性。
  3. 实验结果表明，Opt-Verifier在流行的基准测试中，建模准确率提升超过20%。

📝 摘要（中文）

数学优化建模在运筹学中至关重要，但需要大量的人工专业知识。最近的研究利用大型语言模型（LLM）来自动化建模过程。然而，现有的工作通常难以验证生成的优化模型的正确性，缺乏对约束和变量合理性以及模型解有效性的检查。这阻碍了后续的验证和纠正步骤，严重影响了建模的准确性。为了解决这个问题，我们提出了一个基于LLM的新框架，采用双侧验证（Opt-Verifier），从结构和解的角度提高建模精度。结构侧验证确保生成优化模型的建模结构与原始问题描述一致，准确捕捉问题的约束和要求。同时，解侧验证解释和评估解的有效性，确认优化模型在逻辑和数学上是合理的。在流行基准上的实验表明，我们的方法在准确性方面实现了超过20%的改进。

🔬 方法详解

问题定义：论文旨在解决利用大型语言模型（LLM）自动构建数学优化模型时，模型正确性难以验证的问题。现有方法主要痛点在于缺乏对生成模型的结构合理性（约束和变量是否正确）以及解的有效性的验证，导致建模精度不高。

核心思路：论文的核心思路是提出一种双侧验证框架（Opt-Verifier），分别从结构侧和解侧对LLM生成的优化模型进行验证。结构侧验证确保模型结构与问题描述一致，解侧验证确保解的有效性和合理性。通过双重验证，提高建模的准确性。

技术框架：Opt-Verifier框架包含两个主要模块：结构侧验证和解侧验证。结构侧验证模块负责检查LLM生成的优化模型的结构，包括变量、约束和目标函数是否正确地反映了原始问题描述。解侧验证模块负责解释和评估优化模型的解，验证解是否满足约束条件，以及是否在逻辑和数学上是合理的。两个模块协同工作，共同提高建模的准确性。

关键创新：Opt-Verifier的关键创新在于提出了双侧验证的思想，将优化模型的验证分解为结构和解两个方面。这种双重验证机制能够更全面地评估模型的正确性，从而提高建模的准确性。与现有方法相比，Opt-Verifier不仅关注模型的生成，更关注模型的验证和纠正。

关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构等技术细节。结构侧验证和解侧验证的具体实现方法未知，可能依赖于特定的LLM和优化求解器。

📊 实验亮点

Opt-Verifier在流行的优化建模基准测试中表现出色，相较于现有方法，建模准确率提升超过20%。这一显著的提升表明了双侧验证框架的有效性，验证了解结构和解的合理性对于提高LLM优化建模能力的重要性。

🎯 应用场景

Opt-Verifier可应用于各种需要数学优化建模的领域，例如供应链管理、资源分配、生产调度、金融投资等。该研究的实际价值在于降低了优化建模的门槛，使得非专业人士也能利用LLM快速构建优化模型。未来，该技术有望推动运筹学和人工智能的交叉融合，促进优化技术在更多领域的应用。

📄 摘要（原文）

Building mathematical optimization models is critical in operations research (OR), while it requires substantial human expertise. Recent advancements have utilized large language models (LLMs) to automate this modeling process. However, existing works often struggle to verify the correctness of the generated optimization models, without checking the rationality of the constraints and variables or the validity of solutions to the generated models. This hampers the subsequent verification and correction steps, and thus it severely hurts the modeling accuracy. To address this challenge, we propose a novel LLM-based framework with Dual-side Verification (Opt-Verifier) from both structure and solution perspectives, thereby improving the modeling accuracy. The structure-side verification ensures that the modeling structure of the generated optimization models aligns with the original problem description, accurately capturing the problem's constraints and requirements. Meanwhile, the solution-side verification interprets and evaluates the solutions' validity, confirming that the optimization models are logically and mathematically sound. Experiments on popular benchmarks demonstrate that our approach achieves over 20\% improvement in accuracy.