I-MCTS: Enhancing Agentic AutoML via Introspective Monte Carlo Tree Search

📄 arXiv: 2502.14693v3 📥 PDF

作者: Zujie Liang, Feng Wei, Wujiang Xu, Lin Chen, Yuxi Qian, Xinhui Wu

分类: cs.CL

发布日期: 2025-02-20 (更新: 2025-06-18)

🔗 代码/项目: GITHUB

💡 一句话要点

I-MCTS：通过内省蒙特卡洛树搜索增强Agentic AutoML

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agentic AutoML 蒙特卡洛树搜索 大型语言模型 内省机制 价值模型

📋 核心要点

  1. 现有基于LLM的AutoML Agent在代码生成方面存在多样性不足和结果欠优的问题，限制了其性能。
  2. I-MCTS通过内省机制迭代分析父节点和兄弟节点的信息，持续优化搜索树中的节点，提升决策质量。
  3. 该方法集成了LLM价值模型进行节点评估，并采用混合奖励机制，使得高质量节点能被优先探索，最终性能提升6%。

📝 摘要（中文）

大型语言模型（LLM）在自动化机器学习任务方面展现出显著潜力。然而，现有的基于LLM的Agent常常面临多样性不足和代码生成欠优的问题。虽然最近的研究引入了蒙特卡洛树搜索（MCTS）来解决这些问题，但在生成的思想质量和多样性以及用于节点选择的标量值反馈机制方面仍然存在局限性。本研究提出了内省蒙特卡洛树搜索（I-MCTS），一种新颖的方法，通过内省过程迭代地扩展树节点，该过程仔细分析来自父节点和兄弟节点的解决方案和结果。这有助于持续改进搜索树中的节点，从而增强整体决策过程。此外，我们集成了一个基于大型语言模型（LLM）的价值模型，以便在进行全面的计算rollout之前直接评估每个节点的解决方案。我们还实现了一种混合奖励机制，以无缝地将Q值从LLM估计的分数过渡到实际性能分数。这允许更高质量的节点更早地被遍历。应用于各种ML任务，我们的方法与强大的开源AutoML Agent相比，性能绝对提升了6%，展示了其在增强Agentic AutoML系统方面的有效性。

🔬 方法详解

问题定义：论文旨在解决基于LLM的Agentic AutoML系统中，由于LLM生成代码的多样性不足和质量不高，导致AutoML性能受限的问题。现有方法，即使引入了MCTS，仍然在思想质量、多样性以及节点选择的反馈机制上存在不足，无法充分利用LLM的潜力。

核心思路：论文的核心思路是引入“内省”机制，让Agent在扩展MCTS树的节点时，能够回顾和分析父节点和兄弟节点的信息，从而更好地理解问题，生成更优的解决方案。同时，利用LLM的强大能力，构建价值模型，对节点进行初步评估，引导搜索方向。

技术框架：I-MCTS的整体框架仍然基于MCTS，但关键在于节点扩展和价值评估两个环节的改进。首先，在节点扩展时，Agent会“内省”父节点和兄弟节点的解决方案和结果，提取有用的信息，并用于指导当前节点的代码生成。其次，使用LLM构建价值模型，对每个节点生成的代码进行初步评估，得到一个预估的Q值。最后，采用混合奖励机制，将LLM预估的Q值与实际运行结果的奖励值相结合，用于指导MCTS的搜索过程。

关键创新：I-MCTS的关键创新在于引入了“内省”机制和LLM价值模型。内省机制使得Agent能够更好地利用已有的信息，避免重复探索，提高搜索效率。LLM价值模型则能够对节点进行初步筛选，引导搜索朝着更有希望的方向发展。这与传统的MCTS方法只依赖于随机rollout和最终奖励值有本质区别。

关键设计：关于关键设计，论文中提到混合奖励机制，具体来说，Q值的更新结合了LLM的预估分数和实际运行的性能分数，通过一定的权重进行融合。这种设计的目的是在搜索初期，利用LLM的先验知识快速找到有潜力的节点，然后在搜索后期，更多地依赖实际性能分数，保证最终结果的准确性。具体的权重设置可能需要根据不同的任务进行调整。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，I-MCTS在各种ML任务上，与强大的开源AutoML Agent相比，性能绝对提升了6%。这一结果验证了I-MCTS的有效性，表明通过内省机制和LLM价值模型，可以显著提升Agentic AutoML系统的性能。具体的实验设置和数据集信息可以在论文原文中找到。

🎯 应用场景

I-MCTS具有广泛的应用前景，可以应用于各种需要自动化机器学习的场景，例如模型选择、超参数优化、特征工程等。该方法可以显著降低AutoML的使用门槛，使得非专业的用户也能轻松地构建高性能的机器学习模型。未来，I-MCTS还可以与其他技术相结合，例如强化学习、迁移学习等，进一步提升AutoML的性能和泛化能力。

📄 摘要（原文）

Recent advancements in large language models (LLMs) have shown remarkable potential in automating machine learning tasks. However, existing LLM-based agents often struggle with low-diversity and suboptimal code generation. While recent work has introduced Monte Carlo Tree Search (MCTS) to address these issues, limitations persist in the quality and diversity of thoughts generated, as well as in the scalar value feedback mechanisms used for node selection. In this study, we introduce Introspective Monte Carlo Tree Search (I-MCTS), a novel approach that iteratively expands tree nodes through an introspective process that meticulously analyzes solutions and results from parent and sibling nodes. This facilitates a continuous refinement of the node in the search tree, thereby enhancing the overall decision-making process. Furthermore, we integrate a Large Language Model (LLM)-based value model to facilitate direct evaluation of each node's solution prior to conducting comprehensive computational rollouts. A hybrid rewarding mechanism is implemented to seamlessly transition the Q-value from LLM-estimated scores to actual performance scores. This allows higher-quality nodes to be traversed earlier. Applied to the various ML tasks, our approach demonstrates a 6% absolute improvement in performance compared to the strong open-source AutoML agents, showcasing its effectiveness in enhancing agentic AutoML systems. Resource available at https://github.com/jokieleung/I-MCTS