TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency

📄 arXiv: 2610.17540v1 📥 PDF

作者: Jack Lu, Yurong You, Boyi Li, Yulong Cao, Thomas Tian, Chaowei Xiao, Xiangyu Chen, Wenjie Luo, Boris Ivanovic, Marco Pavone, Yan Wang

分类: cs.AI, cs.RO

发布日期: 2026-10-13

备注: Project page: https://tacitvla.github.io

💡 一句话要点

提出TacitVLA以解决视觉-语言-动作模型的推理延迟问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 推理模型 实时决策 机器人操控 自主驾驶 动态生成 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在推理过程中引入了显著的延迟，影响了实时决策能力。
  2. TacitVLA通过不依赖当前生成的推理文本来执行动作，允许在执行过程中生成推理，从而减少了延迟。
  3. 在四个基准测试中，TacitVLA在延迟上降低了3.4倍，同时在某些任务上成功率提高了17.1%。

📝 摘要（中文）

文本推理在执行动作之前提升了视觉-语言-动作（VLA）模型的性能，但带来了延迟：每个基于推理文本的动作必须等待自回归解码。我们展示了动作不需要等待或依赖生成的推理文本就能受益于它，因为推理监督已经改善了基础表示。我们引入了TacitVLA，这是一种推理VLA，其动作专家在当前调用中从不关注生成的推理。在长时间任务中，推理文本也作为情节记忆，可以在执行动作时生成每个条目，而不是在行动之前。我们在四个基准上进行了控制研究，涵盖了操控和自主驾驶、记忆和非记忆任务：RoboMME、RMBench、LIBERO和PhysicalAI-AV。在所有四个基准上，TacitVLA的性能与其显式推理对应物相匹配，延迟降低高达3.4倍，并且在与没有推理训练的相同架构的延迟相匹配时，成功率提高了17.1%。在绝对值上，它在RoboMME Counting套件上超过了之前发布的最佳结果（82.7%对66.8%）和RMBench（77.5%对56.5%），在LIBERO-Plus上达到了72.9%，在PhysicalAI-AV闭环驾驶挑战的公共分割上达到了52.5%的场景得分。

🔬 方法详解

问题定义：论文要解决的问题是现有视觉-语言-动作模型在推理阶段引入的延迟，导致实时决策能力受限。现有方法需要在执行动作前完成推理，造成时间上的浪费。

核心思路：TacitVLA的核心思路是将推理过程与动作执行解耦，允许在执行动作时生成推理文本，而不是在执行之前。这种设计使得模型能够在不等待推理结果的情况下进行决策。

技术框架：TacitVLA的整体架构包括一个动作专家模块和一个推理生成模块。动作专家在执行时不关注当前生成的推理，而是利用已有的推理监督来改善决策。推理文本在动作执行过程中动态生成，作为情节记忆使用。

关键创新：TacitVLA的主要创新在于其推理与动作执行的解耦设计，使得模型在执行过程中能够实时生成推理，从而显著降低了延迟。这与传统的显式推理方法形成了鲜明对比。

关键设计：在模型设计中，TacitVLA使用了特定的损失函数来优化推理监督对动作决策的影响，同时在网络结构上进行了调整，以确保动作专家能够在不依赖当前推理的情况下进行有效决策。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TacitVLA在四个基准测试中表现出色，延迟降低高达3.4倍，同时在某些任务上成功率提高了17.1%。在RoboMME Counting套件中，其性能达到82.7%，显著超过了之前的最佳结果66.8%。在RMBench中，TacitVLA的成功率为77.5%，也高于之前的56.5%。

🎯 应用场景

TacitVLA的研究具有广泛的应用潜力，尤其是在需要实时决策的领域，如机器人操控和自主驾驶。通过减少推理延迟，该模型能够提高系统的响应速度和效率，适用于复杂的动态环境。未来，该技术可能在智能助手、自动化控制和人机交互等领域产生深远影响。

📄 摘要（原文）

Textual reasoning before acting has improved vision-language-action (VLA) models, but at the cost of latency: every action conditioned on the reasoning text must wait for autoregressive decoding. We show that actions do not need to wait for or condition on the generated reasoning to benefit from it, because the reasoning supervision already improves the backbone representation. We introduce TacitVLA, a reasoning VLA whose action expert never attends to the reasoning it generates for the current call. On long-horizon tasks where the reasoning text also serves as episodic memory, it can generate each entry during action execution rather than before acting. We evaluate it in a controlled study on four benchmarks spanning manipulation and autonomous driving, memory and non-memory tasks: RoboMME, RMBench, LIBERO, and PhysicalAI-AV. On all four, TacitVLA matches the performance of its explicit-reasoning counterpart at up to 3.4x lower latency, and matches the latency of the same architecture trained without reasoning at up to +17.1% success. In absolute terms, it surpasses the best previously published results on the RoboMME Counting suite (82.7% vs. 66.8%) and RMBench (77.5% vs. 56.5%), and reaches 72.9% on LIBERO-Plus and a 52.5% scene score on the public split of the PhysicalAI-AV closed-loop driving challenge. Project page: https://tacitvla.github.io.