VITA-E: Natural Embodied Interaction with Concurrent Seeing, Hearing, Speaking, and Acting

📄 arXiv: 2510.21817v1 📥 PDF

作者: Xiaoyu Liu, Chaoyou Fu, Chi Yan, Chu Wu, Haihan Gao, Yi-Fan Zhang, Shaoqi Dong, Cheng Qian, Bin Luo, Xiuyong Yang, Guanwu Li, Yusheng Cai, Yunhang Shen, Deqiang Jiang, Haoyu Cao, Xing Sun, Caifeng Shan, Ran He

分类: cs.RO, cs.CL, cs.LG

发布日期: 2025-10-21

备注: Homepage: https://lxysl.github.io/VITA-E/

💡 一句话要点

VITA-E：提出并发视听言行交互框架，实现具身智能体实时中断与动态响应。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 人机交互 视觉-语言-动作模型 并发处理 实时中断

📋 核心要点

  1. 现有VLA模型缺乏并发处理多模态信息和实时响应中断的能力，限制了具身智能体的交互自然性。
  2. VITA-E采用双模型架构，通过主动模型和备用模型实现并发视听言行，并支持实时中断。
  3. 实验表明，VITA-E在物理人形机器人上能可靠处理复杂交互，并在中断处理和并发执行方面表现出色。

📝 摘要（中文）

现有的视觉-语言-动作（VLA）模型通常受限于僵化、静态的交互模式，缺乏并发视、听、言、行的能力，以及动态处理实时用户中断的能力。这阻碍了无缝的具身协作，导致用户体验不灵活且反应迟钝。为了解决这些限制，我们引入了VITA-E，一种新颖的具身交互框架，专为行为并发和近实时中断而设计。我们方法的核心是一个双模型架构，其中两个并行的VLA实例作为“主动模型”和“备用模型”运行，使具身智能体能够观察其环境、听取用户语音、提供口头响应并执行动作，所有这些都是并发且可中断的，模仿了类似人类的多任务处理能力。我们进一步提出了一种“模型即控制器”的范式，其中我们微调VLM以生成充当直接系统级命令的特殊token，将模型的推理与系统的行为耦合。在物理人形平台上进行的实验表明，VITA-E可以可靠地处理复杂的交互场景。我们的框架与各种双系统VLA模型兼容，在紧急停止和语音中断方面实现了极高的成功率，同时成功地执行了并发语音和动作。这代表着朝着更自然和更有能力的具身助手迈出的重要一步。

🔬 方法详解

问题定义：现有视觉-语言-动作（VLA）模型在具身交互中存在局限性，无法同时处理视觉、听觉、语言和动作信息，并且难以应对用户实时中断，导致交互体验不自然和不流畅。这些模型通常采用静态、线性的交互模式，缺乏人类的多任务处理能力。

核心思路：VITA-E的核心思路是构建一个能够并发处理多模态信息并实时响应中断的具身交互框架。通过引入双模型架构，一个模型负责主动交互，另一个模型作为备用，随时准备响应中断。此外，采用“模型即控制器”的范式，将模型的推理结果直接转化为系统指令，实现更紧密的模型与系统集成。

技术框架：VITA-E框架包含两个并行的VLA模型实例：主动模型和备用模型。主动模型负责持续观察环境、听取用户语音、生成口头响应和执行动作。备用模型则处于待命状态，随时准备接管主动模型的工作，例如在用户发出中断指令时。框架还包括一个系统控制器，负责协调两个模型的工作，并执行模型生成的系统指令。

关键创新：VITA-E的关键创新在于其双模型架构和“模型即控制器”的范式。双模型架构实现了并发处理和实时中断响应，而“模型即控制器”的范式则将模型的推理能力与系统的执行能力紧密结合，提高了系统的响应速度和灵活性。

关键设计：VITA-E的关键设计包括：1) 双VLA模型的选择和训练，需要选择具有良好视觉、语言和动作理解能力的VLA模型，并进行微调以适应具身交互任务。2) 中断检测机制的设计，需要准确检测用户发出的中断指令，并及时切换主动模型和备用模型。3) “模型即控制器”的实现，通过微调VLM生成特定的token作为系统指令，需要仔细设计这些token的含义和作用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VITA-E框架在紧急停止和语音中断方面实现了极高的成功率。此外，该框架还能够成功地执行并发语音和动作，证明了其在并发处理和实时响应方面的优越性能。这些结果表明，VITA-E是朝着更自然和更有能力的具身助手迈出的重要一步。

🎯 应用场景

VITA-E框架可应用于各种需要自然、流畅人机交互的具身智能体场景，例如家庭服务机器人、医疗辅助机器人、工业协作机器人等。该框架能够提升机器人在复杂环境中的适应性和交互能力，使其能够更好地理解用户意图并执行任务，从而提高工作效率和用户满意度。未来，VITA-E有望推动具身智能体在更多领域的应用。

📄 摘要（原文）

Current Vision-Language-Action (VLA) models are often constrained by a rigid, static interaction paradigm, which lacks the ability to see, hear, speak, and act concurrently as well as handle real-time user interruptions dynamically. This hinders seamless embodied collaboration, resulting in an inflexible and unresponsive user experience. To address these limitations, we introduce VITA-E, a novel embodied interaction framework designed for both behavioral concurrency and nearly real-time interruption. The core of our approach is a dual-model architecture where two parallel VLA instances operate as an Active Model'' and aStandby Model'', allowing the embodied agent to observe its environment, listen to user speech, provide verbal responses, and execute actions, all concurrently and interruptibly, mimicking human-like multitasking capabilities. We further propose a ``model-as-controller'' paradigm, where we fine-tune the VLM to generate special tokens that serve as direct system-level commands, coupling the model's reasoning with the system's behavior. Experiments conducted on a physical humanoid platform demonstrate that VITA-E can reliably handle complex interactive scenarios. Our framework is compatible with various dual-system VLA models, achieving an extremely high success rate on emergency stops and speech interruptions while also successfully performing concurrent speech and action. This represents a significant step towards more natural and capable embodied assistants.