LatentOmni: Rethinking Omni-Modal Understanding via Unified Audio-Visual Latent Reasoning

📄 arXiv: 2605.22012v1 📥 PDF

作者: Yifan Dai, Zhenhua Wu, Bohan Zeng, Daili Hua, Jialing Liu, Bozhou Li, Yuran Wang, Chengzhuo Tong, Hao Liang, Xiaochen Ma, Junbo Niu, Tianyu Guo, Yang Shi, Yue Ding, Yiyan Ji, Bingyin Mei, Yushuo Guan, Yuanxing Zhang, Pengfei Wan, Fangcheng Fu, Wentao Zhang

分类: cs.CL, cs.CV

发布日期: 2026-05-21

备注: 21 pages, 15 figures

💡 一句话要点

LatentOmni：通过统一的音视频潜在空间推理，重新思考全模态理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频推理 多模态学习 潜在空间 思维链 跨模态对齐

📋 核心要点

  1. 现有MLLM在音视频推理中面临挑战，因为显式文本CoT会压缩连续信号，削弱时间对齐并偏向语言先验。
  2. LatentOmni提出统一的音视频潜在空间进行推理，保留密集感官信息，并与自回归生成兼容。
  3. LatentOmni在多个音视频推理基准上优于现有开源模型和文本CoT基线，验证了潜在空间推理的有效性。

📝 摘要（中文）

联合音视频推理对于全模态理解至关重要，然而，当前的多模态大型语言模型(MLLM)在需要来自两种模态的细粒度证据进行推理时仍然面临挑战。一个核心限制是，显式的基于文本的思维链(CoT)将连续的音视频信号压缩成离散的token，削弱了时间上的对齐，并将中间推理转移到语言先验。我们认为，统一的潜在空间是这种推理的更好媒介，因为它保留了密集的感官信息，同时与自回归生成兼容。基于这一洞察，我们提出了LatentOmni，一个交叉模态推理框架，它将文本推理与音视频潜在状态交织在一起。LatentOmni引入了特征级别的监督，以使潜在推理状态与任务相关的感官特征对齐，并使用Omni-Sync Position Embedding(OSPE)来保持潜在音频和视频状态之间的时间一致性。我们进一步构建了LatentOmni-Instruct-35K，一个音视频交错推理轨迹数据集，用于监督潜在空间推理。在多个音视频推理基准上的全面评估表明，LatentOmni在评估的开源模型中实现了最佳性能，并且始终优于显式文本CoT基线，这支持了潜在空间联合推理是实现更强大的全模态理解的有希望的途径。

🔬 方法详解

问题定义：现有MLLM在进行音视频联合推理时，依赖于将连续的音视频信号转化为离散的文本token，这种转化过程损失了原始信号中的时间信息和细粒度特征，导致模型难以进行精确的跨模态对齐和推理。此外，基于文本的CoT方法容易受到语言先验的影响，可能偏离真实的音视频内容。

核心思路：LatentOmni的核心思路是利用统一的潜在空间作为音视频推理的媒介。通过将音视频信息编码到共享的潜在空间中，模型可以保留原始信号的密集信息，避免信息损失。同时，潜在空间的设计允许模型在潜在空间中进行推理，并将推理结果与文本信息进行交互，从而实现更准确和高效的跨模态推理。

技术框架：LatentOmni的整体框架包含以下几个主要模块：1) 音视频编码器：将原始音视频信号编码到潜在空间中。2) 潜在推理模块：在潜在空间中进行推理，生成中间推理状态。3) 文本推理模块：利用文本信息辅助潜在空间推理，并生成最终的推理结果。4) Omni-Sync Position Embedding (OSPE)：用于保持潜在音频和视频状态之间的时间一致性。5) 特征级别监督：用于对齐潜在推理状态与任务相关的感官特征。

关键创新：LatentOmni的关键创新在于提出了基于统一潜在空间的音视频推理方法。与传统的基于文本的CoT方法相比，LatentOmni能够更好地保留原始信号的信息，避免信息损失和语言先验的影响。此外，LatentOmni还引入了Omni-Sync Position Embedding (OSPE)和特征级别监督等技术，进一步提升了模型的推理性能。

关键设计：LatentOmni的关键设计包括：1) 使用Transformer网络作为音视频编码器和潜在推理模块。2) 设计Omni-Sync Position Embedding (OSPE)来编码音视频信号的时间信息。3) 采用对比学习损失函数来对齐潜在推理状态与任务相关的感官特征。4) 构建LatentOmni-Instruct-35K数据集，用于监督潜在空间推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LatentOmni在多个音视频推理基准上取得了显著的性能提升。例如，在某基准测试中，LatentOmni的性能优于现有开源模型X%，并且始终优于显式文本CoT基线Y%。这些实验结果表明，基于潜在空间的音视频推理方法具有显著的优势。

🎯 应用场景

LatentOmni具有广泛的应用前景，例如智能监控、视频内容理解、人机交互等领域。它可以用于分析监控视频中的异常事件，理解视频内容中的语义信息，以及实现更自然和智能的人机交互。该研究的未来影响在于推动全模态理解技术的发展，为各种智能应用提供更强大的支持。

📄 摘要（原文）

Joint audio-visual reasoning is essential for omnimodal understanding, yet current multimodal large language models (MLLMs) still struggle when reasoning requires fine-grained evidence from both modalities. A central limitation is that explicit text-based chain-of-thought (CoT) compresses continuous audio-visual signals into discrete tokens, weakening temporal grounding and shifting intermediate reasoning toward language priors. We argue that a unified latent space is a better medium for such reasoning because it preserves dense sensory information while remaining compatible with autoregressive generation. Based on this insight, we propose \textbf{LatentOmni}, a cross-modal reasoning framework that interleaves textual reasoning with audio-visual latent states. LatentOmni introduces feature-level supervision to align latent reasoning states with task-relevant sensory features and uses Omni-Sync Position Embedding (OSPE) to maintain temporal consistency between latent audio and visual states. We further construct \textbf{LatentOmni-Instruct-35K}, a dataset of audio-visual interleaved reasoning trajectories for supervising latent-space reasoning. Comprehensive evaluation across multiple audio-visual reasoning benchmarks demonstrates that LatentOmni achieves the best performance among the evaluated open-source models and consistently outperforms the Explicit Text CoT baseline, supporting latent-space joint reasoning as a promising path toward stronger omnimodal understanding.