Verify, Don't Trust: Agentic Model Development for Video Discovery Retrieval at Scale
作者: Hao Fu, Baiting Zhu, Minglei Chen, Yinjie Huang, Shuai Ding
分类: cs.IR, cs.AI, cs.LG
发布日期: 2026-09-18
备注: 9 pages, 1 figure, 8 tables. ACM sigconf format; submitted to the KDD 2027 Applied Data Science Track
💡 一句话要点
提出EvoPilot以解决视频检索系统的在线自研究问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频检索 在线自研究 大型语言模型 人类验证 性能优化
📋 核心要点
- 现有方法在视频检索系统的在线自研究中存在评估缺陷，可能导致错误结论。
- EvoPilot通过人类验证和版本化领域技能，提供了一种系统化的在线自研究方法。
- 在37天的实验中，EvoPilot成功识别并修复了评估缺陷，实现了3.20个百分点的性能提升。
📝 摘要（中文）
大型语言模型（LLM）代理能够提出、实施和评估模型变更。自研究循环展示了这一能力，通过对自包含程序的分钟级迭代实现。在线自研究则涵盖了异步系统、数小时变体和数周的活动，可能影响产品。我们提出了EvoPilot，一种人类验证的方法，用于长时间在线自研究。通过对视频深度挖掘（VDD）检索系统的37天实验，EvoPilot成功追踪到先前评估缺陷导致的性能下降，并在修复后实现了3.20个百分点的离线改进。
🔬 方法详解
问题定义：论文要解决的问题是视频检索系统在在线自研究中可能出现的评估缺陷，这些缺陷可能导致错误的性能结论。现有方法未能有效识别和修复这些缺陷，影响了系统的优化效果。
核心思路：EvoPilot的核心思路是通过人类验证的方式，结合版本化的领域技能和类型适配器，系统化地执行在线自研究，确保每一轮实验的有效性和可追溯性。
技术框架：EvoPilot的整体架构包括多个模块：角色特定的代理执行每一轮实验，持久记录保存实验和失败，确定性检查确保记录的教训得到遵循。
关键创新：EvoPilot的主要创新在于其人类验证机制和持久状态管理，能够有效追踪和修复评估缺陷，与传统方法相比，提供了更高的可靠性和可重复性。
关键设计：EvoPilot设计了版本化的领域技能和类型适配器，以适应不同的实验需求。同时，持久记录和确定性检查的结合，确保了实验的透明性和可追溯性。
🖼️ 关键图片
📊 实验亮点
在37天的实验中，EvoPilot成功追踪到导致22个百分点离线命中率下降的评估缺陷，并在修复后实现了3.20个百分点的离线性能提升。此外，随机在线评估显示，VDD的良好搜索结果率相对增加了0.66%。
🎯 应用场景
该研究的潜在应用领域包括视频推荐系统、在线内容检索和用户行为分析等。通过提高视频检索系统的性能，EvoPilot能够为用户提供更精准的推荐，提升用户体验，具有重要的商业价值和社会影响。
📄 摘要（原文）
Large language model (LLM) agents can propose, implement, and evaluate model changes. Autoresearch loops demonstrate this capability through minutes-scale iterations on a self-contained program. Online autoresearch instead spans asynchronous systems, hours-long variants, and weeks-long campaigns that can influence a product. A completed run can still support an invalid conclusion when a code change is a no-op, data windows leak, evaluator semantics drift, or the two arms traverse different serving funnels. We present EvoPilot, a human-gated method for long-horizon online autoresearch. Role-specific agents execute each round through a versioned domain skill and typed adapter. Durable records preserve experiments and failures; deterministic checks enforce recorded lessons. We study a 37-day campaign for the retrieval system that powers Video Deep Dive (VDD), an online experience for discovering follow-on videos after a user opens a seed video. The campaign covered seven directions and used an hourly refreshed index of hundreds of millions of videos. Earlier manual experiments had not established a benefit from an interaction head. A primitive autoresearch attempt revisited the direction but incorrectly attributed an offline hit-rate decline of 22 percentage points to the head. We then introduced EvoPilot. Its human-gated verification traced the drop to a pre-existing evaluation defect that produced output depths of 3,000 and 600. After repair, a matched comparison measured an offline improvement of 3.20 percentage points. Post-study replay and mutation tests rejected invalid comparisons while admitting valid counterparts. Durable state recovered an interrupted round, and artifact reuse avoided approximately five GPU-hours. Separately, a seven-day randomized online evaluation estimated a 0.66% relative increase in the VDD slice of Good Search Result Rate for Retention (GSRR).