Harnessing Language Models as Optimization Modeling Agents

📄 arXiv: 2610.30917v1 📥 PDF

作者: Yunxiang Luo, Xin Xu, Tianhao Chen, Zhixi Xiong, Peiqi Jiang, Fan Zhang, Wei Shao, Xuejian Gao, Yuwei Fan, Can Yang

分类: cs.AI

发布日期: 2026-10-22

💡 一句话要点

提出OPTICYCLE和OPTISTATE以优化语言模型的建模能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 优化建模 语言模型 执行引导修正 轻量级推理 自动化决策

📋 核心要点

  1. 现有方法在优化建模中面临生成正确公式和实现的可靠性挑战，尤其是在无需额外训练的情况下。
  2. 本文提出OPTICYCLE和OPTISTATE两种轻量级推理工具，旨在通过执行引导修正来提升优化建模的准确性。
  3. 实验结果显示，执行引导修正在所有评估模型中均提高了宏观准确性，提升幅度可达49.46个百分点，且超越了多种现有方法。

📝 摘要（中文）

大型语言模型（LLMs）能够将自然语言优化问题转化为求解程序，但可靠地产生正确的公式和实现仍然具有挑战性。现有方法通过代理工作流或特定任务的后训练来改善优化建模。本文提出了OPTICYCLE和OPTISTATE两种轻量级推理工具，用于优化建模，并在包含2634个问题的九个基准上进行了评估，使用了11个Qwen变体，参数范围从0.6B到27B。结果表明，执行引导修正始终能在所有评估模型中提高宏观准确性，提升幅度高达49.46个百分点。尽管设计简单，这两种工具在同模型比较中超越了六种适应性代理工作流和四种经过后训练的优化模型，且无需额外训练。显式的公式状态提供了进一步的但依赖于模型的改进，表明额外结构并非普遍有益。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在优化建模中生成正确公式和实现的可靠性问题。现有方法依赖于复杂的代理工作流或特定任务的后训练，导致在实际应用中效果不稳定。

核心思路：提出OPTICYCLE和OPTISTATE两种轻量级推理工具，通过执行引导修正来优化建模过程，旨在在无需额外训练的情况下实现竞争性能。

技术框架：整体架构包括输入自然语言优化问题、通过模型生成求解程序、执行引导修正以提高准确性等主要模块。每个模块相互协作，形成高效的推理流程。

关键创新：最重要的创新在于引入执行引导修正机制，使得模型在生成过程中能够实时修正错误，从而显著提高宏观准确性。这一方法与传统的后训练或复杂工作流形成鲜明对比。

关键设计：在模型参数设置上，使用了11个不同规模的Qwen变体，涵盖0.6B到27B参数。损失函数和网络结构经过精心设计，以确保在轻量级推理中仍能保持高效性和准确性。通过显式的公式状态，进一步提升了模型的表现。

📊 实验亮点

实验结果显示，执行引导修正在所有评估模型中均提高了宏观准确性，提升幅度可达49.46个百分点。此外，OPTICYCLE和OPTISTATE在同模型比较中超越了六种适应性代理工作流和四种经过后训练的优化模型，展现出其优越性。

🎯 应用场景

该研究的潜在应用领域包括优化问题求解、自动化决策支持系统以及智能助手等。通过提高语言模型在优化建模中的表现，能够为各类实际应用提供更为可靠的解决方案，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Large language models (LLMs) can translate natural-language optimization problems into solver programs, but reliably producing correct formulations and implementations remains challenging. Existing approaches improve optimization modeling through agentic workflows or task-specific post-training. This raises a practical question: can a lightweight harness using a single model role achieve competitive performance without additional training? We introduce OPTICYCLE and OPTISTATE, two lightweight inference harnesses for optimization modeling, and evaluate them on nine benchmarks comprising 2,634 problems using 11 Qwen variants spanning 0.6B-27B parameters. Our results show that execution-guided revision consistently improves macro accuracy over direct generation for all evaluated models, with gains of up to 49.46 percentage points. Despite their simplicity, both harnesses outperform six adapted agentic workflows in same-model comparisons and four evaluated post-trained optimization models at comparable model sizes, without additional training. Explicit formulation state provides further but model-dependent improvements, suggesting that additional structure is not universally beneficial.