LLM Agents for Automated Post-Training via Structured Recipe Optimization
作者: Ruohong Liu, Bohan Tang, Lekang Jiang, Jack Umenberger, Yiwen Guo
分类: cs.AI, cs.LG
发布日期: 2026-10-13
🔗 代码/项目: GITHUB
💡 一句话要点
提出结构化配方优化以实现大语言模型的自动后训练
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 自动后训练 结构化优化 多领域学习 贝叶斯优化
📋 核心要点
- 现有的自动化后训练方法要么在固定的配方空间中进行优化，要么使用开放式代理，导致选择的隐式性和重用性不足。
- 本文提出了一种新的优化范式，通过任务适应的配方空间显式表示选择，从而实现系统重用和联合优化。
- 在多领域的联合后训练实验中，SRO在多个基准测试中表现优异，显著超越了最强基线。
📝 摘要（中文）
自动后训练将预训练的大语言模型（LLMs）转变为能够处理多样化领域的模型，通过在有限的实验预算下，自动构建和优化数据源、数据处理、跨领域组合和训练配置的配方决策。现有方法要么在固定的配方空间中进行系统优化，要么使用开放式代理发现特定任务的选择，但未能显式表示这些选择，从而限制了其在试验中的系统重用和组合。为填补这一空白，本文提出了一种在任务适应的配方空间上进行优化的新范式，能够根据目标任务自适应配方空间，同时显式表示其选择以便于系统重用、组合和联合优化。我们通过结构化配方优化（SRO）实现了这一范式，包含基于LLM的配方空间设计器和多领域配方优化器。实验表明，SRO在所有评估的目标模型和代理LLM组合中取得了最高的平均分。
🔬 方法详解
问题定义：本文旨在解决现有自动后训练方法在配方选择上的局限性，现有方法要么固定不变，要么选择隐式，限制了系统的重用性和组合能力。
核心思路：提出了一种在任务适应的配方空间上进行优化的范式，能够根据目标任务自适应配方空间，同时显式表示选择，以便于系统重用和联合优化。
技术框架：整体架构包括两个主要模块：配方空间设计器和多领域配方优化器。配方空间设计器基于LLM构建任务适应的配方空间，而多领域配方优化器则利用结构化试验证据指导LLM候选构建和多目标贝叶斯试验选择。
关键创新：最重要的创新点在于优化任务适应的配方空间，使得配方选择显式化，从而实现了系统重用和组合的可能性，这与现有方法的隐式选择形成鲜明对比。
关键设计：在设计中，采用了多目标贝叶斯优化方法，结合结构化试验证据来指导优化过程，确保在有限的实验预算下实现最佳性能。具体的参数设置和损失函数设计在实验中经过了精心调整，以适应不同的任务需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SRO在Qwen3-1.7B模型上达到了41.1的平均分，相较于最强基线的15.4有显著提升；在Qwen3-4B模型上，SRO的得分为53.8，而基线为40.8，展示了其在多领域联合后训练中的卓越性能。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、跨领域知识迁移和智能助手等。通过优化后训练过程，能够提升模型在特定任务上的表现，具有重要的实际价值和广泛的应用前景，未来可能推动更多领域的智能化进程。
📄 摘要（原文）
Automated post-training transforms pre-trained large language models (LLMs) into models capable of handling diverse domains by automatically constructing and optimizing a recipe of coupled decisions over data sources, data processing, cross-domain composition, and training configuration under a limited experimental budget. Existing automation either searches predefined recipe spaces that enable systematic optimization but remain fixed rather than adapting their available choices to the target tasks, or uses open-ended agents that discover task-specific choices but leave them implicit in trial-level edits, limiting their systematic reuse and recombination across trials. To fill this gap, we introduce optimization over a task-adapted recipe space, a novel paradigm that can adapt the recipe space itself to the target tasks while representing its choices explicitly for systematic reuse, recombination, and joint optimization. We instantiate this paradigm with Structured Recipe Optimization (SRO), comprising an LLM-based Recipe-Space Designer that constructs the task-adapted recipe space and a Multi-Domain Recipe Optimizer that uses structured trial evidence to guide LLM candidate construction and multi-objective Bayesian trial selection. Extensive experiments show that SRO achieves the highest average score in all evaluated target-model and agent-LLM combinations. In joint post-training across three capability domains and six benchmarks, SRO reaches 41.1 versus 15.4 for the strongest baseline on Qwen3-1.7B with GPT-5.4, and 53.8 versus 40.8 on Qwen3-4B with DeepSeek-V4-Flash. Our code is available at https://github.com/RuohLiuq/SRO.