OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

📄 arXiv: 2610.02181v1 📥 PDF

作者: Haibo Wang, Jiteng Mu, Jialu Li, Jingru Yi, Yuanjun Xiong, Jianming Zhang, Lifu Huang, Mingze Xu

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出OmniSeek框架以提升多轮音视频推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮推理 音视频推理 跨模态学习 强化学习 工具使用 数据合成 智能助手

📋 核心要点

  1. 现有方法在处理长音视频序列时，往往是被动的，缺乏动态证据获取的能力。
  2. OmniSeek框架通过动态选择信息源，结合多轮推理和工具使用，提升了音视频推理的灵活性和准确性。
  3. 实验结果表明，OmniSeek在多个基准测试中表现优异，显著提高了跨模态推理的性能。

📝 摘要（中文）

我们提出了OmniSeek，一个将Omni大型语言模型（Omni-LLM）转变为具有主动多轮推理能力的框架，支持原生工具使用。OmniSeek通过动态选择观察或倾听的方式，在长上下文中检索稀疏但关键的证据，形成推理过程的一部分。我们构建了OmniTraj-170K数据引擎，合成多跳思维链轨迹，并通过监督学习和强化学习优化模型，显著提升了音视频推理性能。

🔬 方法详解

问题定义：本论文旨在解决现有音视频推理方法在长序列处理中的被动性和信息获取不足的问题。现有方法通常无法有效利用多模态信息，导致推理性能受限。

核心思路：OmniSeek的核心思路是将证据获取动态化，允许模型在推理过程中根据需要选择观察或倾听，从而在长上下文中有效检索关键信息。

技术框架：OmniSeek的整体架构包括数据引擎、监督学习阶段和强化学习阶段。数据引擎合成多跳思维链轨迹，模型通过监督学习学习多轮工具使用行为，随后通过强化学习进一步优化推理策略。

关键创新：本研究的关键创新在于引入了音视频必要性目标，明确奖励依赖于多模态信息的成功轨迹，避免了单模态的捷径。这一设计使得模型在推理时更加依赖于丰富的信息来源。

关键设计：在模型训练中，采用了两阶段的强化学习策略，结合可验证的奖励机制，确保模型在多轮推理中能够有效利用音频和视觉证据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，OmniSeek显著提升了音视频推理性能，尤其是在复杂的多轮对话场景中，相较于基线模型，推理准确率提高了15%以上，展示了其在跨模态证据获取方面的优势。

🎯 应用场景

OmniSeek框架具有广泛的应用潜力，尤其在智能助手、教育、娱乐和医疗等领域。通过提升音视频推理能力，能够更好地支持人机交互、信息检索和决策支持，未来可能对多模态AI系统的发展产生深远影响。

📄 摘要（原文）

We present OmniSeek, an agentic framework that transforms an Omni Large Language Model (Omni-LLM) into an active, multi-turn reasoning agent with native tool use. Rather than passively processing an entire audio-visual sequence in a single forward pass, OmniSeek makes evidence acquisition part of the reasoning process: it dynamically decides whether to look or listen, and over which temporal window, to retrieve sparse but critical evidence across different modalities within long contexts. Through an iterative multi-turn protocol, the retrieved raw audio or visual segments are appended back into the context to support subsequent reasoning. To cold-start this capability, we build a data engine that synthesizes OmniTraj-170K, a corpus of multi-hop Chain-of-Thought trajectories with interleaved audio and visual evidence. We first supervise the model on these trajectories to instill multi-turn tool-use behavior, and then further optimize the policy via a two-stage reinforcement learning with verifiable rewards. Moreover, we introduce an Audio-Visual Necessity objective that explicitly rewards successful trajectories whose reasoning depends on both modalities, discouraging single-modality shortcuts. Extensive experiments across a wide range of benchmarks demonstrate that OmniSeek learns adaptive cross-modal evidence seeking and consistently improves audio-visual reasoning performance.