AutoOnboarder: Autonomously Onboarding LLM Agents
作者: Tanay Arora, Cong Liu
分类: cs.AI
发布日期: 2026-10-15
备注: 15 pages, 5 figures
💡 一句话要点
提出AutoOnboarder以解决LLM代理的自动化入职问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 自主学习 任务适应 成本优化 智能代理 基因组测序 入职培训
📋 核心要点
- 现有的代理型大语言模型在控制环境中表现出推理能力的下降，影响其应用效果。
- AutoOnboarder通过智能的入职者代理，自动调整模型和提示，以适应特定任务，提升性能。
- 实验结果显示，自主入职的代理在成本上可降低至29倍，同时性能与基线相当或更优。
📝 摘要（中文）
代理型大语言模型在被置于控制环境中时，推理能力会下降。为了解决这一问题，本文提出了AutoOnboarder，一个自主系统，能够像培训师对新员工进行入职培训一样，适应代理的任务。该系统通过一个智能的“入职者”编码代理进行监督，迭代调整基础模型、提示和控制代码，以同时提高性能并降低成本。通过在基因组测序的优先授权表单提交任务中进行测试，结果表明，自主入职的代理能够在成本降低多达29倍的情况下，匹配或超越Gemini 3.5 Flash基线的性能。尽管如此，这些代理仍然存在不完美之处，入职过程的最终性能差异较大。未来的入职系统需要为入职者提供一个稳健的环境，包括结构化的思维接口、（受控的）互联网访问和广泛的模型搜索空间。
🔬 方法详解
问题定义：本文旨在解决代理型大语言模型在控制环境中推理能力下降的问题。现有方法在任务适应性和成本控制方面存在不足。
核心思路：AutoOnboarder通过一个智能的“入职者”代理，模拟人类培训师的入职过程，迭代优化模型和提示，以提高代理的任务适应性和性能。
技术框架：系统主要包括三个模块：基础模型、提示生成和控制代码调整。入职者代理在监督下进行多轮迭代，逐步优化每个模块。
关键创新：AutoOnboarder的创新在于其自主入职机制，能够在仅提供少量示例的情况下，显著提高代理的性能和降低成本，与传统的手动调优方法形成鲜明对比。
关键设计：系统设计中，入职者代理的反馈机制和模型调整策略是关键，采用了特定的损失函数和参数设置，以确保模型在不同任务中的适应性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，自主入职的代理在基因组测序优先授权表单提交任务中，性能与Gemini 3.5 Flash基线相当或更优，同时成本降低多达29倍，展示了AutoOnboarder在实际应用中的显著优势。
🎯 应用场景
AutoOnboarder的研究成果在多个领域具有潜在应用价值，尤其是在医疗、金融和客户服务等需要高效任务适应的场景。通过提高代理的自主学习能力，该系统能够降低人力成本并提升工作效率，未来可能对智能代理的广泛应用产生深远影响。
📄 摘要（原文）
Agentic large language models have been documented to lose reasoning capability when placed inside a harness, the software that mediates their observations and actions. To reconcile these losses, we introduce AutoOnboarder, an autonomous system that adapts an agent to a task the way a trainer onboards a new employee. It places the agent under the supervision of an intelligent ``Onboarder'' coding agent, which iteratively tailors its foundation model, prompt, and harness source code to simultaneously improve performance and decrease cost. Like a real onboarding process, the Onboarder is only given tens of examples, and all evaluation data is isolated on a separate virtual machine to prevent leakage. We report the lessons learned from building and testing AutoOnboarder on genomic-sequencing prior authorization form submission. Autonomously onboarded agents are able to match or exceed the performance of a Gemini 3.5 Flash baseline at up to 29$\times$ lower costs. However, these agents remain imperfect, and the Onboarding process varies greatly in terms of final performance. We conclude that future Onboarding systems require a robust environment for the Onboarder, including a structured thought interface, (controlled) internet access, and a wide model search space.