From Soliloquy to Agora: Memory-Enhanced LLM Agents with Decentralized Debate for Optimization Modeling

📄 arXiv: 2604.25847v1 📥 PDF

作者: Jianghao Lin, Zi Ling, Chenyu Zhou, Tianyi Xu, Ruoqing Jiang, Zizhuo Wang, Dongdong Ge

分类: math.OC, cs.AI, cs.LG

发布日期: 2026-04-28

备注: Working Paper

🔗 代码/项目: GITHUB

💡 一句话要点

提出Agora-Opt，利用去中心化辩论和记忆增强LLM Agent解决优化建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 优化建模 大型语言模型 多Agent系统 去中心化辩论 记忆增强 自然语言处理 智能决策

📋 核心要点

  1. 现有LLM在从自然语言需求中可靠解决优化建模问题方面存在挑战，难以满足实际应用需求。
  2. Agora-Opt框架结合去中心化辩论和读写记忆库，允许多个Agent团队独立求解并协调，实现持续改进。
  3. 实验结果表明，Agora-Opt在多个基准测试中优于现有方法，证明了其有效性和泛化能力。

📝 摘要（中文）

优化建模是物流、制造、能源和公共服务等现实世界决策的基础，但当前的大型语言模型(LLMs)在从自然语言需求中可靠地解决此类问题方面仍然面临挑战。本文提出了Agora-Opt，一个用于优化建模的模块化Agent框架，它结合了去中心化辩论和一个读写记忆库。Agora-Opt允许多个Agent团队独立生成端到端解决方案，并通过基于结果的辩论协议来协调它们，同时记忆库存储经过求解器验证的工件和过去的异议解决方案，以支持免训练的持续改进。这种设计在主干网络和方法上都具有灵活性：它减少了基础模型锁定，可以跨不同的LLM家族迁移，并且可以以最小的耦合叠加到现有的pipeline上。在公共基准测试中，Agora-Opt在所有比较方法中实现了最强的整体性能，优于强大的zero-shot LLM、以训练为中心的方法和先前的Agent基线。进一步的分析表明，在主干网络选择和组件变体方面都具有强大的增益，并证明去中心化辩论通过使Agent能够通过交互来改进候选解决方案，甚至在所有初始候选方案都存在缺陷时恢复正确的公式，从而提供了优于中心化选择的结构性优势。这些结果表明，可靠的优化建模受益于将协作交叉检查与可重用经验相结合，并将Agora-Opt定位为可信赖的优化建模辅助的实用且可扩展的基础。我们的代码和数据可在https://github.com/CHIANGEL/Agora-Opt获得。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在优化建模任务中表现不佳的问题。现有的LLM在理解自然语言描述的优化问题，并将其转化为可执行的模型方面存在困难，导致求解质量不高，可靠性不足。此外，现有方法往往依赖于大量的训练数据或特定的模型结构，泛化能力有限。

核心思路：论文的核心思路是利用多个Agent协同工作，通过去中心化的辩论机制来提升优化建模的质量。每个Agent独立生成解决方案，然后通过辩论发现并纠正错误，最终达成共识。同时，引入记忆库来存储历史经验，支持Agent的持续学习和改进。这种设计借鉴了人类专家协作解决问题的模式，旨在提高LLM在复杂优化问题上的表现。

技术框架：Agora-Opt框架包含以下主要模块：1) 多个Agent团队，每个团队负责生成一个优化模型的候选解；2) 一个去中心化辩论模块，Agent之间通过辩论来评估和改进彼此的解决方案；3) 一个读写记忆库，用于存储求解器验证的工件和过去的异议解决方案。整个流程如下：首先，每个Agent团队独立生成优化模型；然后，Agent之间进行多轮辩论，互相指出对方的错误和不足；接着，Agent根据辩论结果改进自己的模型；最后，所有Agent达成共识，输出最终的优化模型。

关键创新：Agora-Opt的关键创新在于其去中心化的辩论机制。与传统的中心化选择方法不同，Agora-Opt允许Agent之间进行充分的交流和互动，从而能够更有效地发现和纠正错误。即使所有初始候选方案都存在缺陷，Agent也可以通过辩论来恢复正确的公式。此外，记忆库的设计也使得Agent能够从历史经验中学习，实现持续改进。

关键设计：辩论过程采用基于结果的辩论协议，Agent根据求解器的验证结果来评估彼此的解决方案。记忆库存储solver-verified artifacts和past disagreement resolutions，用于支持训练-free的持续改进。论文中没有明确给出损失函数和网络结构的具体细节，但强调了框架的模块化设计，可以灵活地选择不同的LLM作为backbone。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

Agora-Opt在公共基准测试中取得了显著的性能提升，优于强大的zero-shot LLM、以训练为中心的方法和先前的Agent基线。实验结果表明，去中心化辩论机制能够有效地提高优化建模的质量，即使所有初始候选方案都存在缺陷，Agent也可以通过辩论来恢复正确的公式。此外，记忆库的设计也使得Agent能够从历史经验中学习，实现持续改进。

🎯 应用场景

Agora-Opt框架可应用于物流、制造、能源和公共服务等领域的优化建模问题。例如，在物流领域，可以利用Agora-Opt来优化车辆路线规划，降低运输成本；在制造业领域，可以利用Agora-Opt来优化生产调度，提高生产效率。该研究有望提高优化建模的自动化程度和可靠性，为各行业提供更智能的决策支持。

📄 摘要（原文）

Optimization modeling underpins real-world decision-making in logistics, manufacturing, energy, and public services, but reliably solving such problems from natural-language requirements remains challenging for current large language models (LLMs). In this paper, we propose \emph{Agora-Opt}, a modular agentic framework for optimization modeling that combines decentralized debate with a read-write memory bank. Agora-Opt allows multiple agent teams to independently produce end-to-end solutions and reconcile them through an outcome-grounded debate protocol, while memory stores solver-verified artifacts and past disagreement resolutions to support training-free improvement over time. This design is flexible across both backbones and methods: it reduces base-model lock-in, transfers across different LLM families, and can be layered onto existing pipelines with minimal coupling. Across public benchmarks, Agora-Opt achieves the strongest overall performance among all compared methods, outperforming strong zero-shot LLMs, training-centric approaches, and prior agentic baselines. Further analyses show robust gains across backbone choices and component variants, and demonstrate that decentralized debate offers a structural advantage over centralized selection by enabling agents to refine candidate solutions through interaction and even recover correct formulations when all initial candidates are flawed. These results suggest that reliable optimization modeling benefits from combining collaborative cross-checking with reusable experience, and position Agora-Opt as a practical and extensible foundation for trustworthy optimization modeling assistance. Our code and data are available at https://github.com/CHIANGEL/Agora-Opt.