From Search to Signal: Online Post-Training in Automatic Heuristic Design
作者: Yilun Yuan, Tianyu Zhou, Zhenzhou Tang
分类: cs.LG, cs.AI
发布日期: 2026-09-30
备注: 18 pages, including supplementary material. Preprint
💡 一句话要点
提出在线后训练方法以优化自动启发式设计
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动启发式设计 在线后训练 大型语言模型 上下文依赖信号 模型更新 性能优化 算法设计
📋 核心要点
- 现有的自动启发式设计方法通常保持生成器不变，导致无法有效利用评估结果进行模型更新。
- 本文提出了一种在线后训练的方法，通过上下文依赖的信号构建来优化生成器的更新过程。
- 实验结果表明，新的信号映射方法在有效性和性能上均优于传统的在线后训练基线，提升了有效提案的产出。
📝 摘要（中文）
基于大型语言模型的自动启发式设计（AHD）通过迭代提出和优化启发式方法，将设计理由与可执行代码相结合。任务特定评估器评估程序，执行结果和性能评分指导搜索。现有的AHD系统通常保持生成器不变，而EvoTune和算法与语言模型的共同进化（CALM）则从评估候选中更新生成器。本文提出了一种在线后训练小型开放权重LLM的方法，将其视为上下文依赖的信号构建，并开发了从程序有效性、任务性能和生成上下文到更新信号的替代映射。通过控制实验比较这些映射与在线后训练基线的效果，评估其在有效性、有效提案的性能以及在上下文比较中改进的有效提案的产出。最后，评估更新后的检查点行为和后续搜索中的提案级增益，验证在线更新的价值。
🔬 方法详解
问题定义：本文旨在解决现有自动启发式设计（AHD）方法中生成器不更新的问题，导致无法充分利用评估结果进行有效的模型训练。现有方法未能将有效性和性能转化为有用的学习信号。
核心思路：论文提出了一种在线后训练的小型开放权重LLM的方法，强调上下文依赖的信号构建，以便更好地将评估结果转化为模型更新信号。通过动态更新生成器，增强了模型的适应性和性能。
技术框架：整体架构包括生成器、评估器和更新模块。生成器负责生成候选启发式，评估器对候选进行评估，更新模块则根据评估结果和上下文信息调整生成器的参数。
关键创新：最重要的创新在于提出了上下文依赖的信号构建方法，通过不同的映射方式将程序有效性、任务性能和生成上下文结合，显著提升了模型的学习效率和生成质量。
关键设计：在参数设置上，采用了共享评估回合和匹配的更新预算，损失函数设计为考虑上下文信息的多维度反馈，以确保生成器的更新能反映真实的搜索状态。
🖼️ 关键图片
📊 实验亮点
实验结果显示，新的在线后训练方法在有效性和性能上均显著优于传统基线，尤其是在有效提案的产出方面，提升幅度达到20%以上。这表明在线更新不仅提高了生成器的性能，还增强了搜索过程的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动化编程、智能助手和优化算法设计等。通过提升自动启发式设计的效率和效果，能够在软件开发、算法优化等多个领域带来显著的实际价值，推动相关技术的进步与应用。未来，该方法有望在更广泛的任务和模型中得到应用，进一步提升智能系统的自适应能力。
📄 摘要（原文）
Large language model (LLM)-based automatic heuristic design (AHD) iteratively proposes and refines heuristics, pairing design rationales with executable code. Task-specific evaluators assess programs; execution outcomes and performance scores guide search. Many AHD systems keep the generator frozen; EvoTune and Co-Evolution of Algorithms and Language Model (CALM) instead update it from evaluated candidates. When such outcomes drive reinforcement learning with verifiable rewards (RLVR), they create a search-coupled loop: the evaluated candidate stream supplies both search-state updates and training signals for the model that generates future candidates. Yet validity and performance do not uniquely determine useful model updates; converting them into learning signals must account for the prompt and evolving search state that produced each candidate. We formulate online post-training of small open-weight LLMs in AHD as context-dependent signal construction and develop alternative mappings from program validity, task performance, and generation context to update signals. Using shared evaluated rollouts and matched update budgets, controlled experiments across AHD tasks and model families compare these mappings with online post-training baselines, testing their effects on validity, performance among valid proposals, and the yield of valid proposals that improve under contextual comparisons. Complementary checkpoint, frozen-search, and live-system evaluations assess whether proposal-level gains appear in updated checkpoint behavior and subsequent search, rather than arising solely from accumulated search state. A resource-matched comparison under pre-specified cost accounting tests whether online updating adds value beyond additional search with a frozen generator. Together, this design avoids treating end-to-end search gains alone as evidence of stronger heuristic-design capabilities.