DualCoT-VLA: Visual-Linguistic Chain of Thought via Parallel Reasoning for Vision-Language-Action Models

📄 arXiv: 2603.22280v1 📥 PDF

作者: Zhide Zhong, Junfeng Li, Junjie He, Haodong Yan, Xin Gong, Guanyi Zhao, Yingjie Cai, Jiantao Gao, Xu Yan, Bingbing Liu, Yingcong Chen, Liuqing Yang, Haoang Li

分类: cs.CV, cs.RO

发布日期: 2026-03-23

💡 一句话要点

提出DualCoT-VLA，通过并行视觉-语言思维链解决VLA模型在复杂任务中的推理和延迟问题。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作模型 思维链 多模态推理 并行推理 机器人 视觉理解 语言理解

📋 核心要点

  1. 现有VLA模型在复杂任务中面临逻辑规划不足和推理延迟高等问题，限制了其应用。
  2. DualCoT-VLA通过并行视觉和语言思维链，同时捕获低级视觉细节和高级逻辑规划。
  3. 实验结果表明，DualCoT-VLA在多个基准测试和真实场景中均取得了显著的性能提升。

📝 摘要（中文）

视觉-语言-动作（VLA）模型直接将视觉观察和语言指令映射到机器人动作。虽然对简单任务有效，但标准的VLA模型在需要逻辑规划的复杂多步骤任务以及需要精细空间感知的精确操作中表现不佳。最近的研究引入了思维链（CoT）推理，使VLA模型具备“先思考后行动”的能力。然而，当前的基于CoT的VLA模型面临两个关键限制：1）由于依赖孤立的单模态CoT，无法同时捕获低级视觉细节和高级逻辑规划；2）由于逐步自回归解码，导致推理延迟高且误差累积。为了解决这些限制，我们提出DualCoT-VLA，一种用于VLA模型的视觉-语言CoT方法，具有并行推理机制。为了实现全面的多模态推理，我们的方法集成了用于低级空间理解的视觉CoT和用于高级任务规划的语言CoT。此外，为了克服延迟瓶颈，我们引入了一种并行CoT机制，该机制结合了两组可学习的查询令牌，将自回归推理转变为单步前向推理。大量实验表明，我们的DualCoT-VLA在LIBERO和RoboCasa GR1基准测试以及真实世界平台上均实现了最先进的性能。

🔬 方法详解

问题定义：VLA模型在处理复杂、多步骤任务时，由于缺乏有效的推理能力和对细粒度空间信息的感知，导致性能下降。现有的基于CoT的方法虽然引入了推理能力，但依赖于单模态的CoT，无法同时处理视觉和语言信息，并且自回归解码方式导致推理延迟高，误差容易累积。

核心思路：DualCoT-VLA的核心思路是利用并行的视觉和语言思维链，分别处理低级视觉细节和高级任务规划。通过这种方式，模型可以同时进行空间感知和逻辑推理，从而更好地理解任务并生成相应的动作。并行CoT机制通过可学习的查询令牌，将自回归推理转化为单步前向推理，显著降低了推理延迟。

技术框架：DualCoT-VLA包含视觉CoT和语言CoT两个主要模块，它们并行工作。视觉CoT负责处理视觉输入，提取空间信息和视觉特征；语言CoT负责处理语言指令，进行任务规划和逻辑推理。两个CoT模块的输出通过一个融合模块进行整合，然后输入到动作生成模块，生成最终的机器人动作。并行CoT机制通过两组可学习的查询令牌实现，这些令牌在训练过程中学习如何并行地进行推理。

关键创新：DualCoT-VLA的关键创新在于以下两点：1) 提出了视觉-语言并行CoT，能够同时处理视觉和语言信息，实现更全面的多模态推理；2) 引入了并行CoT机制，将自回归推理转化为单步前向推理，显著降低了推理延迟。与现有方法的本质区别在于，DualCoT-VLA不再依赖于单模态的CoT和自回归解码，而是采用并行的多模态推理和单步前向推理。

关键设计：视觉CoT和语言CoT可以使用不同的Transformer架构，例如，视觉CoT可以使用视觉Transformer（ViT），语言CoT可以使用BERT。并行CoT机制中的可学习查询令牌的数量是一个重要的超参数，需要根据具体的任务进行调整。损失函数可以包括动作预测损失、CoT预测损失等，用于训练模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DualCoT-VLA在LIBERO和RoboCasa GR1基准测试以及真实世界平台上均取得了最先进的性能。具体而言，在LIBERO数据集上，DualCoT-VLA的成功率相比于之前的最佳方法提升了显著的百分比（具体数值未给出，原文未提供）。在RoboCasa GR1数据集和真实世界平台上的实验也验证了DualCoT-VLA的有效性。

🎯 应用场景

DualCoT-VLA可应用于各种需要复杂推理和精确操作的机器人任务，例如家庭服务机器人、工业自动化机器人、医疗辅助机器人等。该方法能够提高机器人在复杂环境中的适应性和任务完成效率，具有广泛的应用前景。

📄 摘要（原文）

Vision-Language-Action (VLA) models map visual observations and language instructions directly to robotic actions. While effective for simple tasks, standard VLA models often struggle with complex, multi-step tasks requiring logical planning, as well as precise manipulations demanding fine-grained spatial perception. Recent efforts have incorporated Chain-of-Thought (CoT) reasoning to endow VLA models with a ``thinking before acting'' capability. However, current CoT-based VLA models face two critical limitations: 1) an inability to simultaneously capture low-level visual details and high-level logical planning due to their reliance on isolated, single-modal CoT; 2) high inference latency with compounding errors caused by step-by-step autoregressive decoding. To address these limitations, we propose DualCoT-VLA, a visual-linguistic CoT method for VLA models with a parallel reasoning mechanism. To achieve comprehensive multi-modal reasoning, our method integrates a visual CoT for low-level spatial understanding and a linguistic CoT for high-level task planning. Furthermore, to overcome the latency bottleneck, we introduce a parallel CoT mechanism that incorporates two sets of learnable query tokens, shifting autoregressive reasoning to single-step forward reasoning. Extensive experiments demonstrate that our DualCoT-VLA achieves state-of-the-art performance on the LIBERO and RoboCasa GR1 benchmarks, as well as in real-world platforms.