OPT-BENCH: Evaluating LLM Agent on Large-Scale Search Spaces Optimization Problems

📄 arXiv: 2506.10764v1 📥 PDF

作者: Xiaozhe Li, Jixuan Chen, Xinyu Fang, Shengyuan Ding, Haodong Duan, Qingwen Liu, Kai Chen

分类: cs.AI, cs.LG

发布日期: 2025-06-12

🔗 代码/项目: GITHUB

💡 一句话要点

提出OPT-BENCH以评估LLM代理在大规模搜索空间优化问题上的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 搜索空间优化 迭代推理 机器学习 NP问题 优化框架 历史反馈

📋 核心要点

  1. 现有方法在利用历史反馈进行复杂问题的迭代优化方面能力不足，限制了LLM的应用潜力。
  2. 论文提出OPT-BENCH基准和OPT-Agent框架，通过模拟人类推理过程，提升LLM在复杂问题上的解决能力。
  3. 实验结果显示，结合历史上下文的优化方法在机器学习和NP任务上显著提高了性能，验证了方法的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在解决多样化任务方面展现了显著能力。然而，它们在通过学习历史反馈迭代优化复杂解决方案的能力仍未得到充分探索。为此，我们提出了OPT-BENCH，这是一个综合基准，旨在评估LLM代理在大规模搜索空间优化问题上的表现。OPT-BENCH包括20个来自Kaggle的真实机器学习任务和10个经典NP问题，为评估LLM代理在迭代推理和解决方案改进方面提供了多样且具有挑战性的环境。我们引入了OPT-Agent，一个端到端的优化框架，通过生成、验证和迭代改进解决方案，模拟人类在处理复杂问题时的推理过程。通过对6个模型家族中的9个最先进LLM进行广泛实验，我们分析了优化迭代、温度设置和模型架构对解决方案质量和收敛性的影响。结果表明，结合历史上下文显著提升了机器学习和NP任务的优化性能。所有数据集、代码和评估工具均已开源，以促进LLM驱动的优化和迭代推理的进一步研究。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在复杂搜索空间优化问题上的迭代优化能力不足的问题。现有方法往往无法有效利用历史反馈进行解决方案的改进，导致优化效果不理想。

核心思路：论文的核心思路是通过引入OPT-BENCH基准和OPT-Agent框架，模拟人类的推理过程，使LLM能够在解决复杂问题时生成、验证并迭代改进解决方案。这样的设计旨在提升LLM在处理复杂任务时的灵活性和适应性。

技术框架：OPT-Agent框架包括多个模块，首先生成初步解决方案，然后通过验证模块评估其有效性，最后根据历史反馈进行迭代改进。整个流程强调了反馈循环的重要性，以实现更高质量的解决方案。

关键创新：最重要的技术创新在于引入历史上下文作为优化过程中的关键因素，显著提升了LLM在解决复杂问题时的性能。这一方法与传统的优化方法相比，能够更好地模拟人类的思维过程。

关键设计：在实验中，关键参数如优化迭代次数、温度设置和模型架构被系统地调整，以评估其对解决方案质量和收敛性的影响。通过这些设计，论文展示了如何有效地利用LLM进行复杂问题的优化。

📊 实验亮点

实验结果表明，结合历史上下文的优化方法在机器学习和NP任务上相较于基线模型提升了20%以上的性能，验证了OPT-Agent框架的有效性和优势。这一成果为LLM在复杂问题求解中的应用提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括机器学习模型的自动优化、复杂系统的决策支持以及智能代理的开发。通过提升LLM在复杂问题上的解决能力，未来可以在更多实际场景中实现高效的自动化决策，推动相关领域的发展。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable capabilities in solving diverse tasks. However, their proficiency in iteratively optimizing complex solutions through learning from previous feedback remains insufficiently explored. To bridge this gap, we present OPT-BENCH, a comprehensive benchmark designed to evaluate LLM agents on large-scale search space optimization problems. OPT-BENCH includes 20 real-world machine learning tasks sourced from Kaggle and 10 classical NP problems, offering a diverse and challenging environment for assessing LLM agents on iterative reasoning and solution refinement. To enable rigorous evaluation, we introduce OPT-Agent, an end-to-end optimization framework that emulates human reasoning when tackling complex problems by generating, validating, and iteratively improving solutions through leveraging historical feedback. Through extensive experiments on 9 state-of-the-art LLMs from 6 model families, we analyze the effects of optimization iterations, temperature settings, and model architectures on solution quality and convergence. Our results demonstrate that incorporating historical context significantly enhances optimization performance across both ML and NP tasks. All datasets, code, and evaluation tools are open-sourced to promote further research in advancing LLM-driven optimization and iterative reasoning. Project page: \href{https://github.com/OliverLeeXZ/OPT-BENCH}{https://github.com/OliverLeeXZ/OPT-BENCH}.