MMSearch-OPD: Easy Made Hard, Hard Made Learnable for Long-Horizon Multimodal Search Agents
作者: Huanyao Zhang, Jiepeng Zhou, Jiaye Lin, Ontai Tang, Jingtian Hao, Mugeng Liu, Ru Peng, Lang Mei, Xiaohan Yu, Liyan Liu, Chong Chen, Wentao Zhang
分类: cs.CV
发布日期: 2026-10-15
💡 一句话要点
提出MMSearch-OPD以解决长时间多模态搜索代理的训练挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间多模态搜索 强化学习 数据精炼 在线蒸馏 智能搜索代理
📋 核心要点
- 现有多模态搜索代理在长时间调查中面临训练问题，尤其是缺乏挑战性的问题和反馈。
- 论文提出MMSearch-OPD，通过可控数据精炼与联合强化学习相结合，提升多模态搜索能力。
- 实验结果显示，数据精炼和联合训练显著提高了长时间多模态深度搜索的性能。
📝 摘要（中文）
多模态深度搜索正从短查询向长时间调查转变，然而训练此类代理面临有限的挑战性训练问题和不足的过程反馈。我们提出MMSearch-OPD，结合可控数据精炼、联合强化学习（RL）和在线蒸馏（OPD）。我们的精炼管道针对现有简单多模态问题扩展推理链，参数化变换控制搜索深度和跨模态证据需求，同时重用现有的图像-问题对。训练中，答案奖励和轻量行为惩罚引导RL，而奖励差距调节对不完美学生轨迹的令牌级教师指导。实验表明，数据精炼带来了提升，联合训练后进一步改善，显示出更强的长时间多模态深度搜索能力。
🔬 方法详解
问题定义：本论文旨在解决长时间多模态搜索代理的训练问题，现有方法在训练过程中面临有限的挑战性问题和反馈不足的痛点。
核心思路：论文提出MMSearch-OPD，通过结合可控数据精炼、联合强化学习和在线蒸馏，旨在提升多模态搜索代理的能力，特别是在长时间调查中。
技术框架：整体架构包括数据精炼管道和强化学习模块。数据精炼管道负责扩展推理链，而强化学习模块则通过奖励和惩罚引导学习过程。
关键创新：最重要的技术创新在于将可控数据精炼与联合强化学习结合，允许代理在训练中动态调整搜索深度和证据需求，这与现有方法的静态训练方式有本质区别。
关键设计：在训练过程中，使用答案奖励和轻量行为惩罚作为强化学习的引导，同时通过奖励差距调节教师指导，采用指数衰减的蒸馏系数以减少对教师的依赖。具体的参数设置和损失函数设计也为模型的性能提升提供了保障。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MMSearch-OPD在长时间多模态搜索任务中显著提升了性能，尤其是在数据精炼和联合训练后，模型的搜索能力得到了增强。具体性能提升幅度和对比基线数据在实验中得到了验证。
🎯 应用场景
该研究的潜在应用场景包括智能搜索引擎、自动问答系统和多模态信息检索等领域。通过提升长时间多模态搜索代理的能力，能够更有效地处理复杂查询，提供更准确的答案，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multimodal deep search is moving from short queries to long-horizon investigations that continually acquire evidence. However, training such agents remains constrained by limited challenging training questions and insufficient process feedback. We introduce MMSearch-OPD, combining controllable data refinement with joint reinforcement learning (RL) and on-policy distillation (OPD). Our Refine pipeline performs targeted expansion of reasoning chains derived from existing simple multimodal questions. Parameterized transformations control search depth and cross-modal evidence requirements while reusing existing image--question pairs. For training, answer rewards and lightweight behavior penalties guide RL, while the reward gap modulates token-level teacher guidance on imperfect student trajectories. An exponentially decaying distillation coefficient reduces teacher dependence as training proceeds. Experiments show gains from data refinement and further improvements from joint training after SFT, indicating stronger long-horizon multimodal deep search capabilities.