ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination
作者: Foundation Model, Li Auto Inc
分类: cs.CV
发布日期: 2026-09-21
🔗 代码/项目: GITHUB
💡 一句话要点
提出ME-VLM以解决物理AI中的视觉语言理解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理AI 视觉语言模型 具身认知 多模态代理 时空推理 强化学习 模型蒸馏 边缘计算
📋 核心要点
- 现有方法在物理AI中难以有效整合视觉和语言理解，缺乏对环境约束的考虑。
- 论文提出ME-VLM，通过构建统一的视觉-语言模型，结合具身认知与多模态代理能力，提升物理感知与推理能力。
- 实验结果显示，ME-VLM在具身和代理基准测试中表现优异，尤其在自动驾驶和具身导航任务上显著提升性能。
📝 摘要（中文）
物理AI要求模型在真实环境中将视觉和语言理解与环境约束和执行反馈相结合。我们提出了MachEmbodied-VLM（ME-VLM），这是一个统一的视觉-语言模型，具有4B和35B-A3B两个变体，结合了具身认知和多模态代理能力。我们的工作强调物理感知和时空推理，以及在数字和物理环境中的规划、交互和结果评估。我们构建了涵盖具身和多模态代理任务的训练数据，包括执行观察和反馈，以支持结果评估和决策优化。训练流程包括具身能力注入、具身和多模态代理专家的独立强化学习，以及多教师在线蒸馏，将它们的互补能力整合为一个模型。实验表明，在具身和代理基准测试以及自动驾驶和具身导航任务上表现出竞争力。
🔬 方法详解
问题定义：本论文旨在解决物理AI中视觉与语言理解的整合问题，现有方法在处理环境约束和执行反馈时存在不足，导致模型在真实场景中的应用受限。
核心思路：ME-VLM通过构建一个统一的视觉-语言模型，结合具身认知与多模态代理能力，强调物理感知和时空推理，从而提升模型在复杂环境中的决策能力。
技术框架：ME-VLM的训练流程包括三个主要阶段：首先进行具身能力注入，其次独立强化学习具身和多模态代理专家，最后通过多教师在线蒸馏整合其互补能力，形成一个统一模型。
关键创新：ME-VLM的创新在于其统一的模型架构和多教师蒸馏方法，能够有效整合不同专家的能力，克服了传统方法中各自为政的局限性。
关键设计：在训练过程中，采用了执行观察和反馈数据，设计了特定的损失函数以优化决策过程，同时在模型压缩和量化方面进行了优化，以实现边缘设备上的高效推理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ME-VLM在具身和代理基准测试中表现出色，尤其在自动驾驶任务中，4B变体的推理延迟从400毫秒减少到188毫秒，显著提升了实时响应能力。
🎯 应用场景
ME-VLM的潜在应用场景包括自动驾驶、机器人导航和智能家居等领域。其在复杂环境中的决策能力和实时反馈处理能力，将为物理AI的实际应用提供更强的支持，推动智能系统的普及与发展。
📄 摘要（原文）
Physical AI requires models to ground visual and linguistic understanding in real-world environments while accounting for environmental constraints and execution feedback. We introduce MachEmbodied-VLM (ME-VLM), a unified vision-language model with two variants, 4B and 35B-A3B, that brings together embodied cognition and multimodal agent capabilities. Our work emphasizes physical perception and spatiotemporal reasoning, together with planning, interaction, and outcome assessment in both digital and physical environments. We construct training data spanning embodied and multimodal agent tasks, including execution observations and feedback to support outcome assessment and decision refinement. The training pipeline comprises embodied capability injection, separate reinforcement learning of embodied and multimodal-agent experts, and multi-teacher on-policy distillation that consolidates their complementary capabilities into a single model. Experiments show competitive performance on both embodied and agent benchmarks, as well as on autonomous-driving and embodied-navigation tasks. For edge deployment, visual token compression, W4A8 quantization, and hardware--software co-optimization enable on-device inference of the 4B variant on the M100, reducing prefill latency from 400 ms to 188 ms. Project Page: https://machembodied.com/ME-Brain/ME-VLM.html Code Repository: https://github.com/MachEmbodied/ME-VLM