AutoResearch at Production Scale: Failure Modes and a Multi-Agent Framework
作者: Aparajith Chandran, Juwon Kim, Saurav Jha, Pablo Castells, Florian Hottier
分类: cs.LG, cs.IR
发布日期: 2026-09-24
备注: 10 pages, 3 figures. Accepted at IEEE ICDM 2026 (Applied Track)
💡 一句话要点
提出AutoResearch框架以解决生产推荐系统中的失败模式问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推荐系统 自动化优化 多代理框架 失败模式 性能提升
📋 核心要点
- 现有的推荐系统优化方法在规模化时面临工程成本高、探索效率低等挑战。
- 本文提出的AutoResearch框架通过自动化训练脚本的迭代编辑，系统性地解决了推荐系统中的失败模式。
- 实验结果显示，该框架在Recall@6上提升了1.82倍，并且在手动调优基线之上实现了2.1倍的连贯性提升。
📝 摘要（中文）
优化嵌入系统以适应生产推荐管道需要系统性的探索，这在规模上消耗了不成比例的工程努力。本文应用Andrej Karpathy的AutoResearch范式，利用大型语言模型自动化这一探索过程。经过12周的生产规模运行，我们进行了220多个实验，发现了五种在原始设置中缺失的重复失败模式，并提出了一个三原则的框架设计，成功提升了推荐系统的性能。
🔬 方法详解
问题定义：本文旨在解决在生产推荐系统中进行嵌入优化时面临的高工程成本和探索效率低下的问题。现有方法在大规模实验中常常遭遇失败模式，导致性能未能有效提升。
核心思路：通过应用AutoResearch范式，利用大型语言模型自动编辑训练脚本，保留能够提升性能的修改，从而实现高效的系统性探索。
技术框架：整体框架包括多个模块，首先是训练脚本的自动化编辑，其次是多GPU计算环境下的实验迭代，最后是对不同实验结果的评估与比较。
关键创新：本文的主要创新在于识别并映射五种重复出现的失败模式，并提出了“预防、持续、重定向”三原则的框架设计，提供了结构性解决方案。
关键设计：在实验中，设置了多个参数以优化模型性能，包括损失函数的选择和网络结构的设计，确保在不同的训练任务中都能有效应对失败模式。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AutoResearch框架在Recall@6上实现了1.82倍的提升，并在连贯性上提升了2.1倍，相较于手动调优的基线表现。此外，代理系统自主设计的文本回退方案使目录覆盖率提高了5.8倍，显示出该框架的强大能力。
🎯 应用场景
该研究的潜在应用领域包括电子商务、内容推荐和社交媒体等多个推荐系统场景。通过自动化优化过程，能够显著提高推荐系统的性能和用户体验，未来可能推动更广泛的智能推荐技术应用。
📄 摘要（原文）
Optimizing embedding systems for production recommendation pipelines demands systematic exploration that consumes disproportionate engineering effort at scale. We apply Andrej Karpathy's AutoResearch paradigm -- a large language model that iteratively edits a training script and retains modifications that improve a held-out scalar metric -- to automate this exploration. We report on twelve weeks of running this paradigm at production scale, where iterations consume hours of multi-GPU compute, evaluation involves competing criteria, and campaigns span weeks across many training jobs. Across two independently developed representation-learning systems for a book recommendation pipeline, we ran 220+ experiments and observed five recurring failure modes absent from the original setting: infrastructure fragility, agent memory decay, search-direction stagnation, iteration-cost asymmetry, and metric fixation. We contribute a three-principle scaffolding design -- prevent, persist, redirect -- that maps each failure mode to a structural remedy and whose instantiation scales with iteration cost. The framework produced a 1.82x Recall@6 lift and a 2.1x coherence lift over hand-tuned baselines, and the agent autonomously designed a text-only fallback that expanded catalog coverage by 5.8x. The two systems span nearly three orders of magnitude in per-iteration cost yet exhibit the same failure modes, suggesting these are structural properties of production-scale autonomous research rather than artifacts of either application.