Beyond Omni: A Unified MLLM for Embodied Sensory Understanding

📄 arXiv: 2610.26751v1 📥 PDF

作者: Shiyun Xiong, Dongming Wu, Peiwen Sun, Bokang Yang, Jiaxu Wang, Xiaolou Sun, Mingxing Wen, Xiangyu Yue

分类: cs.CV

发布日期: 2026-10-19

💡 一句话要点

提出Unisense框架以解决多模态感知理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 具身感知 感知理解 统一架构 深度学习 机器人技术 智能系统

📋 核心要点

  1. 现有的多模态大型语言模型在感知物理世界时，主要局限于视觉和音频等基本模态，导致其理解能力不足。
  2. 本文提出Unisense框架，通过统一的多模态架构支持多种物理感知模态，采用两阶段训练来增强感知与语言的对齐。
  3. 在12个基准测试中，Unisense在深度、点云、IMU、触觉等多种感知任务上表现优异，超越了大多数现有模型。

📝 摘要（中文）

近年来，具身系统越来越依赖多模态大型语言模型（MLLMs）来提升其预训练的理解和推理能力，但对物理世界的感知仍然局限于基本的视觉和音频等模态。为此，本文提出了Unisense，一个统一的具身MLLM框架，支持多种物理感知模态。Unisense采用两阶段训练过程：首先将感知表示与语言对齐，建立语言可访问接口；然后在共享的LLM中调优特定模态的专家，以提供不同感知模态的专业处理。我们还构建了Unisense-1M，一个包含100万样本的多模态训练语料库，并在12个基准上评估Unisense，结果显示其在多种异构感知任务中表现优异，超越了大多数通用和专业模型。

🔬 方法详解

问题定义：本文旨在解决现有多模态大型语言模型在感知多样化物理世界时的局限性，尤其是对不同感知模态的弱连接和理解能力不足的问题。

核心思路：提出Unisense框架，通过建立一个统一的多模态架构，支持多种物理感知模态，并采用两阶段训练过程来提升感知与语言的对齐。

技术框架：Unisense框架包括两个主要阶段：第一阶段是将感知表示与语言进行对齐，建立语言可访问的接口；第二阶段是在共享的LLM中调优特定模态的专家，以实现对不同感知模态的专业处理。

关键创新：Unisense的核心创新在于其统一的多模态架构，能够有效整合多种感知模态，并通过两阶段训练提升模型的整体性能，与现有方法相比，提供了更强的感知理解能力。

关键设计：在训练过程中，采用了特定的损失函数来优化感知与语言的对齐，同时设计了适应不同模态的专家网络，以确保每种模态都能得到专门的处理。具体的参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

在12个基准测试中，Unisense在深度、点云、IMU、触觉、热成像、雷达、运动和嗅觉理解等任务上表现优异，超越了大多数通用和专业模型，展示了其作为统一模型在具身感知理解中的潜力。

🎯 应用场景

Unisense框架具有广泛的应用潜力，能够用于机器人感知、智能家居、自动驾驶等领域，提升机器对复杂物理环境的理解和交互能力。未来，随着多模态感知技术的发展，Unisense可能在智能系统的自主决策和人机交互中发挥更大作用。

📄 摘要（原文）

Recent embodied systems increasingly build on multimodal large language models (MLLMs) for their pretrained understanding and reasoning capabilities, but their perception of the physical world remains largely limited to basic modalities such as vision and audio. However, broadening MLLMs to more diverse sensory modalities from the physical environment is challenging: their representations are often weakly connected to the MLLM and vary substantially in structure and statistics, while their interpretation still requires shared high-level understanding and reasoning. We therefore propose Unisense, a unified embodied MLLM framework that supports diverse physical sensory modalities within a shared multimodal architecture. Unisense follows a two-stage training process: (i) aligning sensory representations with language to establish a language-accessible interface; and (ii) tuning modality-specific experts within the shared LLM to provide specialized processing for different sensory modalities. To support broad sensory learning, we curate Unisense-1M, a large-scale embodied sensory training corpus comprising 1M samples across 8 sensory modalities. We further evaluate Unisense on 12 benchmarks spanning depth, point cloud, IMU, tactile, thermal, radar, motion, and smell understanding. Across these heterogeneous sensing tasks, Unisense achieves strong performance and outperforms both generalist and specialized models on most benchmarks, demonstrating the potential of pretrained MLLMs as unified models for embodied sensory understanding.