EliteTable: Self-Improving Program Search for Executable Control Policies
作者: Stuart Farmer
分类: cs.AI, cs.NE
发布日期: 2026-10-08
💡 一句话要点
提出EliteTable以解决可执行控制策略的自我改进问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 控制策略 程序搜索 自我改进 大型语言模型 Gymnasium任务 高得分解决方案
📋 核心要点
- 现有方法在控制策略的搜索过程中缺乏有效的自我改进机制，导致性能提升有限。
- 论文提出EliteTable算法，通过固定容量的高得分解决方案表来引导新方案的生成和现有方案的优化。
- 实验结果表明，候选方案的得分中位数在所有任务中都有所提升，特别是在CartPole-v1任务中表现突出。
📝 摘要（中文）
EliteTable是一种自我改进的程序搜索算法，利用大型语言模型（LLMs）引导高得分解决方案的固定容量表，以指导新提案、现有解决方案的编辑和多个解决方案的混合。该算法在六个Gymnasium控制任务上进行了性能评估，每个任务进行了十代实验，每代有五十个候选方案。结果显示，在所有六个任务中，候选方案的得分中位数在第一代和最后一代之间有所上升，而在五个任务中，选定赢家的搜索得分中位数也有所上升。CartPole-v1的选定赢家在所有十次搜索的第一代中达到了搜索得分上限。四个任务中的十个配对持出端点有所改善。BipedalWalker-v3和CarRacing-v3在未达到报告目标的情况下有所改善。六个Acrobot-v1搜索在持出回合中下降，中位数变化为负。结果记录了程序搜索过程中的改进及选定赢家在某些任务中转移到新回合的收益。
🔬 方法详解
问题定义：本论文旨在解决可执行控制策略的搜索效率和自我改进能力不足的问题。现有方法往往无法有效利用历史搜索结果进行优化，导致性能提升缓慢。
核心思路：EliteTable算法的核心思想是利用大型语言模型（LLMs）引导程序搜索，通过维护一个高得分解决方案的固定容量表，促进新方案的生成、现有方案的编辑和多个方案的混合，从而实现自我改进。
技术框架：该算法的整体架构包括三个主要模块：高得分解决方案表、候选方案生成机制和评估反馈机制。首先，算法从高得分解决方案表中提取信息，然后生成新的候选方案，最后通过评估反馈来更新解决方案表。
关键创新：EliteTable的主要创新在于其自我改进能力，通过固定容量表的设计，使得算法能够有效地利用历史搜索结果，提升新方案的质量。这与传统的随机搜索方法形成鲜明对比，后者往往缺乏系统性和针对性。
关键设计：在参数设置上，算法采用了固定容量的高得分解决方案表，确保了搜索过程中的信息传递和利用。此外，损失函数的设计考虑了候选方案的多样性和质量，以促进更全面的搜索。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在六个Gymnasium控制任务中，候选方案的得分中位数在所有任务中均有所提升，CartPole-v1任务的选定赢家在第一代中达到了搜索得分上限。此外，四个任务中的十个配对持出端点表现出改善，显示出算法的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要高效控制策略生成的场景。通过提升控制策略的搜索效率，EliteTable能够在实际应用中显著提高系统的智能化水平，推动相关技术的发展。
📄 摘要（原文）
EliteTable is a self-improving program-search algorithm guided by large language models (LLMs) that uses a fixed-capacity table of high-scoring solutions to guide new proposals, edits of existing solutions, and remixes of several solutions. Performance was evaluated across six Gymnasium control tasks, each with ten generations and fifty candidate slots per generation. Each task was evaluated across ten independently initialized searches. Candidate-score medians rose between the first and final generations in all six tasks, and selected-winner search-score medians rose in five. In CartPole-v1, the selected winner reached the search-score ceiling in the first generation of all ten searches. All ten paired held-out endpoints improved in four of the six tasks. BipedalWalker-v3 and CarRacing-v3 improved without reaching their reporting targets. Six of ten Acrobot-v1 searches declined on held-out episodes, and the median paired change was negative. The results document improvement during program search and the transfer of selected-winner gains to new episodes in some tasks. Comparisons and ablations are needed to establish EliteTable's relative performance and the contributions of its components.