TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation

📄 arXiv: 2603.12665v1 📥 PDF

作者: Kaidi Zhang, Heng Zhang, Zhengtong Xu, Zhiyuan Zhang, Md Rakibul Islam Prince, Xiang Li, Xiaojing Han, Yuhao Zhou, Arash Ajoudani, Yu She

分类: cs.RO

发布日期: 2026-03-13

备注: 9 pages, 7 figures

💡 一句话要点

TacVLA：融合触觉信息的视觉-语言-动作操作模型，提升机器人操作鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉语言动作模型 触觉融合 多模态学习 Transformer 接触感知 机器人学习

📋 核心要点

  1. 现有VLA模型在视觉遮挡和精细操作中表现不佳，原因是过度依赖视觉信息，缺乏对物理接触的有效感知。
  2. TacVLA通过引入接触感知门控机制，自适应地融合视觉、语言和触觉信息，增强模型在接触交互中的跨模态理解。
  3. 实验表明，TacVLA在拆卸、盒内拾取等任务中显著优于现有方法，尤其在视觉遮挡场景下提升明显。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作中展现了显著优势。然而，它们对视觉和语言的依赖性常常导致在视觉遮挡、精细操作和物理接触等任务中表现欠佳。为了解决这些挑战，我们提出了TacVLA，一个通过将触觉模态融入基于Transformer的策略中进行微调的VLA模型，以增强精细操作能力。具体来说，我们引入了一种接触感知门控机制，该机制仅在检测到接触时才选择性地激活触觉tokens，从而实现自适应多模态融合，同时避免不相关的触觉干扰。融合的视觉、语言和触觉tokens在Transformer架构中共同处理，以加强接触丰富交互过程中的跨模态对齐。在约束锁定拆卸、盒内拾取和鲁棒性评估等方面的广泛实验表明，我们的模型优于基线模型，在拆卸任务中平均提高了20%的成功率，在盒内拾取任务中提高了60%，在视觉遮挡场景中提高了2.1倍。

🔬 方法详解

问题定义：现有的视觉-语言-动作（VLA）模型在机器人操作任务中，尤其是在视觉信息受限或需要精细操作的场景下，表现出明显的局限性。这些模型主要依赖视觉输入，忽略了触觉信息在物理交互中的重要作用。因此，在视觉遮挡、需要精确接触的任务中，VLA模型的性能会显著下降。

核心思路：TacVLA的核心思路是将触觉信息融入到VLA模型中，利用触觉传感器感知到的接触信息来弥补视觉信息的不足，从而提高模型在复杂操作任务中的鲁棒性和精度。通过接触感知门控机制，模型能够自适应地选择性地利用触觉信息，避免不相关的触觉噪声干扰。

技术框架：TacVLA模型基于Transformer架构，整体流程包括：1) 视觉、语言和触觉信息的编码；2) 接触感知门控机制，用于选择性地激活触觉tokens；3) 多模态信息的融合，将视觉、语言和触觉tokens输入到Transformer中进行联合处理；4) 基于Transformer的策略生成，输出机器人的动作指令。

关键创新：TacVLA的关键创新在于接触感知门控机制。该机制能够根据接触状态动态地调整触觉信息的权重，只有在检测到有效接触时才激活触觉tokens，从而避免了不相关的触觉噪声对模型性能的影响。这种自适应的触觉融合方式是与现有VLA模型的重要区别。

关键设计：接触感知门控机制的具体实现方式未知，论文中可能涉及触觉信号处理、接触检测算法以及门控网络的具体结构和参数设置。损失函数的设计可能包括动作预测损失、接触预测损失以及其他辅助损失，以提高模型的学习效率和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TacVLA在约束锁定拆卸、盒内拾取和鲁棒性评估等任务中表现出色。在拆卸任务中，TacVLA的成功率平均提高了20%；在盒内拾取任务中，成功率提高了60%；在视觉遮挡场景中，性能提升了2.1倍。这些实验结果表明，TacVLA能够有效利用触觉信息，显著提升机器人在复杂操作任务中的性能。

🎯 应用场景

TacVLA模型具有广泛的应用前景，可用于自动化装配、精密仪器操作、医疗机器人辅助手术等领域。通过融合触觉信息，机器人能够更好地感知环境，执行更加复杂和精细的操作任务，提高生产效率和操作安全性。未来，该技术有望应用于更多需要高精度和高鲁棒性的机器人操作场景。

📄 摘要（原文）

Vision-Language-Action (VLA) models have demonstrated significant advantages in robotic manipulation. However, their reliance on vision and language often leads to suboptimal performance in tasks involving visual occlusion, fine-grained manipulation, and physical contact. To address these challenges, we propose TacVLA, a fine-tuned VLA model by incorporating tactile modalities into the transformer-based policy to enhance fine-grained manipulation capabilities. Specifically, we introduce a contact-aware gating mechanism that selectively activates tactile tokens only when contact is detected, enabling adaptive multimodal fusion while avoiding irrelevant tactile interference. The fused visual, language, and tactile tokens are jointly processed within the transformer architecture to strengthen cross-modal grounding during contact-rich interaction. Extensive experiments on constraint-locked disassembly, in-box picking and robustness evaluations demonstrate that our model outperforms baselines, improving the performance by averaging 20% success rate in disassembly, 60% in in-box picking and 2.1x improvement in scenarios with visual occlusion. Videos are available at https://sites.google.com/view/tacvla and code will be released.