LLM-Guided Evolution: An Autonomous Model Optimization for Object Detection

📄 arXiv: 2504.02280v1 📥 PDF

作者: YiMing Yu, Jason Zutty

分类: cs.NE, cs.CV

发布日期: 2025-04-03

💡 一句话要点

提出LLM引导的进化方法以优化目标检测模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经架构搜索 目标检测 大型语言模型 进化算法 YOLO模型 自动化机器学习 性能优化

📋 核心要点

  1. 现有的神经架构搜索方法依赖于大量的试错和领域知识，效率低下且难以实现最佳性能。
  2. 本文提出LLM引导的进化框架，通过引入大型语言模型，智能调整YOLO模型的设计以优化目标检测性能。
  3. 实验结果表明，使用LLM-GE的YOLO模型在KITTI数据集上的平均精度从92.5%提升至94.5%，显示出显著的性能改进。

📝 摘要（中文）

在机器学习中，神经架构搜索（NAS）通常需要领域知识和大量的试错过程以实现良好的性能。传统的进化算法依赖于固定规则和预定义的构建模块。本文提出的LLM引导进化（GE）框架通过引入大型语言模型（LLM），直接修改图像分类算法的源代码，并智能指导突变和交叉。关键技术“思想进化”（EoT）建立反馈循环，使LLM能够根据先前操作的表现迭代优化决策。我们在目标检测中应用LLM-GE，改进YOLO模型架构以提升在KITTI数据集上的性能，最终实现平均精度从92.5%提升至94.5%。这一结果展示了LLM-GE在实际挑战中的灵活性和有效性，为自动化机器学习提供了新的范式。

🔬 方法详解

问题定义：本文旨在解决现有神经架构搜索方法在目标检测中效率低下和依赖领域知识的问题。传统方法需要大量的试错，难以快速找到最佳模型架构。

核心思路：通过引入大型语言模型（LLM），实现对模型源代码的直接修改，结合进化算法的突变和交叉策略，智能优化YOLO模型的架构。这样的设计使得模型优化过程更加灵活和高效。

技术框架：整体框架包括数据输入、LLM指导的模型修改、进化算法的应用、性能评估等模块。首先，输入数据经过LLM处理后，生成新的模型架构，然后通过进化算法进行优化，最后评估模型性能。

关键创新：最重要的创新在于“思想进化”（EoT）技术，它通过建立反馈循环，使LLM能够根据先前操作的结果不断优化决策。这一机制显著提升了模型优化的智能化水平。

关键设计：在模型设计中，关键参数包括学习率、突变率等，损失函数采用目标检测常用的交叉熵损失，网络结构基于YOLO的改进版本，确保在精度和速度之间取得平衡。

📊 实验亮点

实验结果显示，使用LLM-GE优化后的YOLO模型在KITTI数据集上的平均精度从92.5%提升至94.5%，提升幅度达到2个百分点。这一显著的性能改进证明了LLM-GE在目标检测任务中的有效性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等，能够在复杂环境中实现高效的目标检测。通过优化模型架构，提升检测精度和速度，具有重要的实际价值和广泛的应用前景。未来，该方法还可能扩展到其他机器学习任务，推动自动化机器学习的发展。

📄 摘要（原文）

In machine learning, Neural Architecture Search (NAS) requires domain knowledge of model design and a large amount of trial-and-error to achieve promising performance. Meanwhile, evolutionary algorithms have traditionally relied on fixed rules and pre-defined building blocks. The Large Language Model (LLM)-Guided Evolution (GE) framework transformed this approach by incorporating LLMs to directly modify model source code for image classification algorithms on CIFAR data and intelligently guide mutations and crossovers. A key element of LLM-GE is the "Evolution of Thought" (EoT) technique, which establishes feedback loops, allowing LLMs to refine their decisions iteratively based on how previous operations performed. In this study, we perform NAS for object detection by improving LLM-GE to modify the architecture of You Only Look Once (YOLO) models to enhance performance on the KITTI dataset. Our approach intelligently adjusts the design and settings of YOLO to find the optimal algorithms against objective such as detection accuracy and speed. We show that LLM-GE produced variants with significant performance improvements, such as an increase in Mean Average Precision from 92.5% to 94.5%. This result highlights the flexibility and effectiveness of LLM-GE on real-world challenges, offering a novel paradigm for automated machine learning that combines LLM-driven reasoning with evolutionary strategies.