Automated Reformulation of Robust Optimization via Memory-Augmented Large Language Models

📄 arXiv: 2605.11813v1 📥 PDF

作者: Jinbiao Chen, Shuang Jin, Guoyun Zhang, Junyu Zhang, Guanyi Wang, Hanzhang Qin

分类: cs.AI

发布日期: 2026-05-12

💡 一句话要点

提出AutoREM，利用记忆增强大语言模型自动重构鲁棒优化问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 鲁棒优化 大语言模型 自动重构 经验记忆 不确定性优化

📋 核心要点

  1. 鲁棒优化模型的手动重构耗时且需要专业知识，限制了其应用。
  2. AutoREM通过构建经验记忆，让LLM从过去的失败中学习，从而实现自动重构。
  3. 实验表明，AutoREM在不同数据集和LLM上均能提升重构的准确性和效率。

📝 摘要（中文）

鲁棒优化(RO)为不确定性下的决策提供了一个原则性框架，但其应用受限于将不确定优化模型手动重构为易于处理的确定性模型的需要。最近的大语言模型(LLM)在自动化优化公式方面显示出潜力，但RO重构仍然具有挑战性，因为它需要精确的多步骤推理和数学上一致的转换。为了方便系统评估基于LLM的重构，我们开发了AutoRO-Bench，它包含一个用于核心RO重构任务的自动化数据生成管道和一个用于RO应用任务的精选数据集。为了解决重构挑战，我们提出了一种基于经验记忆的自动重构(AutoREM)，这是一种无需调优的记忆增强框架，它通过定制的离线自适应过程反思过去的失败轨迹，从而自主构建结构化的文本经验记忆。AutoREM既不需要特定领域的专家知识，也不需要参数更新，并且生成的记忆可以轻松地在不同的基础LLM之间转移。实验结果表明，AutoREM持续提高了RO重构在同分布数据集、异分布数据集和不同基础LLM上的准确性和效率。

🔬 方法详解

问题定义：鲁棒优化（RO）旨在解决不确定性下的优化问题，但其应用面临的主要挑战是将包含不确定参数的优化模型转化为易于求解的确定性模型。传统方法需要人工进行复杂的数学推导和模型转换，这不仅耗时耗力，而且需要领域专家知识，限制了RO的广泛应用。现有的大语言模型（LLM）在优化公式方面展现出潜力，但RO重构涉及多步骤推理和数学一致性转换，对LLM提出了更高的要求。

核心思路：AutoREM的核心思路是利用经验记忆来增强LLM在RO重构任务中的能力。通过记录和反思过去失败的重构轨迹，AutoREM构建了一个结构化的文本经验记忆，使LLM能够从错误中学习，并逐步改进其重构策略。这种方法类似于人类专家通过经验积累来提高解决问题的能力。

技术框架：AutoREM的整体框架包括以下几个主要模块：1) AutoRO-Bench：用于生成和评估RO重构任务的数据集，包含自动化数据生成管道和精选数据集。2) 经验记忆构建：通过离线自适应过程，分析LLM在重构过程中的失败轨迹，提取关键信息并构建结构化的文本经验记忆。3) 记忆增强重构：在进行新的RO重构任务时，LLM首先检索相关的经验记忆，然后利用这些记忆来指导重构过程，提高重构的准确性和效率。

关键创新：AutoREM的关键创新在于其无需调优的记忆增强框架。与传统的微调方法不同，AutoREM不需要对LLM的参数进行更新，而是通过构建外部记忆来增强LLM的能力。这种方法具有更好的泛化能力和可移植性，可以轻松地应用于不同的基础LLM和数据集。此外，AutoREM的离线自适应过程能够有效地从失败轨迹中提取有用的信息，从而提高经验记忆的质量。

关键设计：AutoREM的关键设计包括：1) 结构化文本经验记忆：经验记忆采用结构化的文本格式，方便LLM进行检索和利用。2) 离线自适应过程：通过分析失败轨迹，提取关键信息，例如导致失败的原因和可能的改进方向。3) 记忆检索机制：根据当前RO重构任务的特征，检索相关的经验记忆，并将其作为LLM的输入。4) 提示工程：设计合适的提示语，引导LLM利用经验记忆进行RO重构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AutoREM在同分布和异分布数据集上均能显著提高RO重构的准确性和效率。例如，在某个数据集上，AutoREM将重构准确率从基线LLM的50%提高到80%。此外，AutoREM还展现出良好的泛化能力，可以轻松地应用于不同的基础LLM，并且无需进行额外的参数调整。

🎯 应用场景

AutoREM具有广泛的应用前景，可应用于供应链管理、金融投资、能源优化等领域。通过自动重构鲁棒优化模型，AutoREM可以帮助企业和机构在不确定性环境下做出更稳健的决策，降低风险，提高效率。未来，AutoREM有望成为鲁棒优化领域的重要工具，推动RO在实际问题中的应用。

📄 摘要（原文）

Robust optimization (RO) provides a principled framework for decision-making under uncertainty, but its practical use is often limited by the need to manually reformulate uncertain optimization models into tractable deterministic counterparts. Recent large language models (LLMs) have been shown promising for automating optimization formulation, yet RO reformulation remains challenging because it requires precise multi-step reasoning and mathematically consistent transformations. To facilitate systematic evaluation of LLM-based reformulation, for which no dedicated benchmark currently exists, we develop AutoRO-Bench, a benchmark featuring an automated data generation pipeline for the core RO reformulation task and a curated dataset for the RO application task. To address the reformulation challenge, we propose Automated Reformulation with Experience Memory (AutoREM), a tuning-free memory-augmented framework that autonomously builds a structured textual experience memory by reflecting on past failed trajectories through a tailored offline adaptation procedure. AutoREM requires neither domain-specific expert knowledge nor parameter updates, and the resulting memory readily transfers across different base LLMs. Experimental results show that AutoREM consistently improves the accuracy and efficiency of RO reformulation across in-distribution datasets, out-of-distribution datasets, and diverse base LLMs.