M$^3$Searcher: Modular Multimodal Information Seeking Agency with Retrieval-Oriented Reasoning

📄 arXiv: 2601.09278v1 📥 PDF

作者: Xiaohan Yu, Chao Feng, Lang Mei, Chong Chen

分类: cs.AI

发布日期: 2026-01-14

💡 一句话要点

提出M$^3$Searcher：一种面向检索推理的模块化多模态信息搜索代理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态信息搜索 信息检索 强化学习 模块化设计 多跳推理

📋 核心要点

  1. 现有信息搜索代理主要处理文本模态，无法有效处理多模态信息，限制了其应用范围。
  2. M$^3$Searcher通过解耦信息获取和答案推导，并采用面向检索的多目标奖励，提升了多模态信息搜索的性能。
  3. 实验表明，M$^3$Searcher在多模态任务中优于现有方法，并展现出良好的迁移适应性和推理能力。

📝 摘要（中文）

本文提出M$^3$Searcher，一种模块化的多模态信息搜索代理，旨在解决现有DeepResearch风格代理在多模态环境下信息获取和综合方面的局限性。现有方法主要局限于文本模态，而扩展到多模态环境带来了两个关键挑战：一是大规模多模态工具使用模型训练中出现的专业化-泛化权衡问题；二是捕捉复杂、多步骤多模态搜索轨迹的训练数据严重稀缺。M$^3$Searcher通过显式地将信息获取与答案推导解耦来解决这些问题，并采用面向检索的多目标奖励进行优化，该奖励同时鼓励事实准确性、推理合理性和检索保真度。此外，本文还开发了一个多模态多跳数据集MMSearchVQA，以支持以检索为中心的强化学习训练。实验结果表明，M$^3$Searcher优于现有方法，在复杂的多模态任务中表现出强大的迁移适应性和有效的推理能力。

🔬 方法详解

问题定义：现有基于DeepResearch的代理主要处理文本信息，无法有效利用图像、视频等多种模态的信息。在多模态环境下，训练能够有效利用各种工具的大规模模型面临专业化和泛化之间的权衡。此外，缺乏足够的多模态多步搜索轨迹训练数据，阻碍了模型的学习。

核心思路：M$^3$Searcher的核心思路是将信息获取和答案推导两个过程解耦。信息获取模块负责从各种来源检索相关信息，答案推导模块则利用检索到的信息生成最终答案。这种解耦使得模型可以更好地专注于每个子任务，从而提高整体性能。

技术框架：M$^3$Searcher包含信息获取和答案推导两个主要模块。信息获取模块负责利用各种工具（例如搜索引擎、图像搜索引擎等）检索相关信息。答案推导模块则接收检索到的信息，并利用一个大型语言模型生成最终答案。整个流程采用强化学习进行训练，目标是最大化一个多目标奖励函数。

关键创新：M$^3$Searcher的关键创新在于其模块化的设计和面向检索的训练方法。模块化设计使得模型可以更好地专注于每个子任务，从而提高整体性能。面向检索的训练方法则鼓励模型检索高质量的信息，从而提高答案的准确性。

关键设计：M$^3$Searcher使用一个多目标奖励函数来指导强化学习训练。该奖励函数包含三个部分：事实准确性、推理合理性和检索保真度。事实准确性衡量答案的正确性，推理合理性衡量答案的推理过程是否合理，检索保真度衡量检索到的信息是否与问题相关。此外，本文还提出了一个新的多模态多跳数据集MMSearchVQA，用于训练和评估M$^3$Searcher。

📊 实验亮点

实验结果表明，M$^3$Searcher在MMSearchVQA数据集上优于现有方法，在答案准确性方面取得了显著提升。此外，M$^3$Searcher还展现出良好的迁移适应性，可以在不同的多模态任务中取得良好的性能。例如，在跨领域的多模态问答任务中，M$^3$Searcher的性能优于其他基线模型。

🎯 应用场景

M$^3$Searcher可应用于各种需要多模态信息搜索的场景，例如智能客服、医学诊断、教育辅助等。通过整合文本、图像、视频等多种模态的信息，M$^3$Searcher可以提供更全面、更准确的答案，从而提高工作效率和决策质量。未来，该技术有望在智能助手、自动驾驶等领域发挥重要作用。

📄 摘要（原文）

Recent advances in DeepResearch-style agents have demonstrated strong capabilities in autonomous information acquisition and synthesize from real-world web environments. However, existing approaches remain fundamentally limited to text modality. Extending autonomous information-seeking agents to multimodal settings introduces critical challenges: the specialization-generalization trade-off that emerges when training models for multimodal tool-use at scale, and the severe scarcity of training data capturing complex, multi-step multimodal search trajectories. To address these challenges, we propose M$^3$Searcher, a modular multimodal information-seeking agent that explicitly decouples information acquisition from answer derivation. M$^3$Searcher is optimized with a retrieval-oriented multi-objective reward that jointly encourages factual accuracy, reasoning soundness, and retrieval fidelity. In addition, we develop MMSearchVQA, a multimodal multi-hop dataset to support retrieval centric RL training. Experimental results demonstrate that M$^3$Searcher outperforms existing approaches, exhibits strong transfer adaptability and effective reasoning in complex multimodal tasks.