Decoupling Vision, Language, and Action for Efficient Multi-Task Robot Policies

📄 arXiv: 2609.18374v1 📥 PDF

作者: Xiatao Sun, Chen Liang, Ziyao Zeng, Qian Wang, Haoyang Zhang, Yue Sun, Qiucheng Li, Daniel Rakita

分类: cs.RO

发布日期: 2026-09-16

💡 一句话要点

提出解耦视觉、语言与动作的模型以提高多任务机器人策略的效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 解耦模型 机器人控制 多任务学习 能耗优化

📋 核心要点

  1. 现有的视觉-语言-动作模型在每个控制步骤中都需要庞大的模型支持，导致计算和能耗成本高。
  2. 论文提出的解耦体现模型（DEM）通过独立的视觉和语言编码器，优化了动作生成过程，降低了资源消耗。
  3. 实验结果表明，DEM在多个任务中成功率与最先进的模型相当，同时推理效率和能耗显著提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在每个控制步骤中都依赖于一个庞大的视觉-语言模型（VLM），这在低级操作策略中可能并不必要。本文通过控制实验，提出了解耦体现模型（DEM），将经过微调的DINOv3编码器与冻结的NeoBERT编码器结合，使用MeanFlow头生成每个动作块。DEM在18个模拟操作任务和3个真实机器人任务中表现出与最先进的VLM基础策略相当的成功率，同时推理频率提高了8到17倍，能耗降低了6到15倍。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在低级操作策略中高昂的计算和能耗成本。现有方法依赖于大型视觉-语言模型，导致每个控制步骤都需支付高额的资源消耗。

核心思路：论文提出的解耦体现模型（DEM）通过将视觉编码器和语言编码器分开，利用独立的模块来生成动作，从而避免了对大型VLM的依赖，提升了效率。

技术框架：DEM的整体架构包括一个经过微调的DINOv3视觉编码器、一个冻结的NeoBERT语言编码器和一个MeanFlow动作生成头。该框架通过单次前向传播生成动作块，简化了处理流程。

关键创新：DEM的主要创新在于解耦了视觉、语言和动作模块，使得每个模块可以独立优化，从而在保持性能的同时显著降低了计算和能耗。与现有方法相比，DEM在推理频率和能耗方面表现出更优的平衡。

关键设计：在设计中，DINOv3编码器经过微调以适应特定任务，而NeoBERT编码器保持冻结状态，确保语言理解的稳定性。MeanFlow头则负责高效生成动作，减少了计算复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，解耦体现模型（DEM）在18个模拟操作任务和3个真实机器人任务中，成功率与最先进的VLM基础策略相当，同时推理频率提高了8到17倍，能耗降低了6到15倍，展现出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和家庭自动化等场景。通过提高多任务操作的效率，DEM能够在资源受限的环境中实现更高效的机器人控制，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-Language-Action (VLA) models attach an action module to a Vision-Language Model (VLM) with billions of parameters and pay for that backbone at every control step. For a low-level manipulation policy, this cost may be unnecessary: the VLM supplies vision and language embeddings, and recent standalone vision encoders and encoder-only language models now match or exceed large VLMs on visual embedding and language understanding benchmarks. We study this question with a controlled experiment. Holding the demonstrations, the training budget, the tasks, and the measurement platform fixed, we vary the vision encoder, the language encoder, and the action head of a decoupled policy and compare against seven VLA baselines. The study yields the Decoupled Embodiment Model (DEM), which pairs a fine-tuned DINOv3 encoder and a frozen NeoBERT encoder with a MeanFlow head that generates each action chunk in a single forward pass. On 18 simulated manipulation tasks with held-out language paraphrases and randomized scenes, and on three real-robot tasks, DEM achieves observed success comparable to state-of-the-art VLM-backbone policies under our evaluation protocol, while running at eight to seventeen times their inference frequency and drawing six to fifteen times less energy per inference. Within this task scope, modern decoupled components offer a better success--latency--energy trade-off.