Uni-VLaT: Whole-Body Tactile Adaptation of VLA Policies for Humanoid Loco-Manipulation

📄 arXiv: 2609.35450v1 📥 PDF

作者: Zihao Wang, Shutong Liu, Siqi Zheng, Liu Cao, Ruoqi Chen, Rundong Liu, Yanchao Yang, Mengdi Xu

分类: cs.RO

发布日期: 2026-09-28

备注: 12 pages, 5 figures

💡 一句话要点

提出Uni-VLaT以解决类人机器人在运动操作中的触觉适应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 类人机器人 触觉适应 视觉-语言-动作 多模态融合 运动操作 物理交互

📋 核心要点

  1. 现有方法在类人机器人运动操作中，依赖视觉和本体感知，难以有效处理被遮挡的接触区域。
  2. Uni-VLaT通过引入触觉通道，结合触觉信息与视觉-语言-动作策略，增强了对物理交互的理解与控制能力。
  3. 实验结果显示，Uni-VLaT在多个任务中平均成功率达到75%，显著优于基线方法，尤其在触觉预测方面表现突出。

📝 摘要（中文）

物理接触通常决定了类人机器人在运动操作中的响应方式，但仅依靠视觉和本体感知往往不足以表征物理交互，尤其是在接触区域被遮挡时。与在预定义区域的稀疏力或扭矩测量不同，分布式触觉传感器能够保留机器人身体上的空间分辨接触模式。为此，我们研究如何将全身触觉信息整合到视觉-语言-动作（VLA）策略中，以实现接触丰富的控制。我们的Uni-VLaT方法引入了一条触觉通道，其潜在状态不仅用于动作生成，还用于预测未来的触觉、本体和视觉表示。通过这种预测目标，构建了一个触觉锚定的多模态上下文，促进了对物理世界的更结构化理解。我们在五个真实机器人任务上评估了Uni-VLaT，取得了75%的平均成功率，超越了没有触觉输入的基线43个百分点，以及没有预测监督的触觉输入基线7个百分点。

🔬 方法详解

问题定义：本论文旨在解决类人机器人在运动操作中如何有效利用触觉信息的问题。现有方法主要依赖视觉和本体感知，无法充分表征被遮挡的接触区域，导致控制效果不佳。

核心思路：Uni-VLaT的核心思想是将全身触觉信息整合进视觉-语言-动作（VLA）策略中，通过引入触觉通道，增强对物理交互的理解，并通过预测未来的触觉和视觉信息来提升控制能力。

技术框架：Uni-VLaT的整体架构包括触觉通道、视觉通道和语言通道。触觉通道负责接收和处理触觉信息，视觉通道处理视觉输入，语言通道则用于理解任务指令。所有通道的输出通过多模态融合，形成统一的决策基础。

关键创新：本研究的主要创新在于引入了触觉预测机制，使得模型不仅能够生成动作，还能预测未来的触觉和视觉状态。这一设计使得模型在处理复杂的物理交互时，能够更好地适应环境变化。

关键设计：在模型设计中，采用了特定的损失函数来平衡触觉预测与动作生成的目标，同时使用了多层神经网络结构来处理不同模态的信息。触觉通道的设计允许模型捕捉到更细致的接触模式，增强了整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Uni-VLaT在五个真实机器人任务中的平均成功率达到75%，相比于没有触觉输入的基线提高了43个百分点，且在触觉输入的基线中提高了7个百分点。特别是在桌面清扫和后击行走任务中，分别提升了30和85-90个百分点，显示出触觉预测学习的有效性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过增强类人机器人在复杂物理环境中的适应能力，Uni-VLaT能够提高机器人在实际操作中的效率和安全性，推动智能机器人技术的进一步发展。

📄 摘要（原文）

Physical contact often determines how a humanoid should respond during loco-manipulation, yet vision and proprioception alone are often insufficient to characterize physical interaction, especially when the contact region is occluded. Unlike sparse force or torque measurements at predefined regions, distributed tactile sensing preserves spatially resolved contact patterns across the robot body. We therefore study how to integrate such whole-body tactile information into vision-language-action (VLA) policies for contact-rich control. Our approach, Uni-VLaT, introduces a tactile pathway whose latent state is trained not only for action generation, but also to predict future tactile, proprioceptive, and visual representations. This predictive objective builds a tactile-anchored multimodal context, encouraging a more structured understanding of the physical world. We evaluate Uni-VLaT on five real-robot tasks covering tactile-triggered locomotion, sustained physical interaction, human-robot contact, and loco-manipulation. Uni-VLaT achieves a 75% average success rate, outperforming a baseline without tactile input by 43 points and a tactile-input baseline without predictive supervision by 7 points. Across two pretrained VLA backbones, our method improves Table Sweeping by 30 points on both backbones and Back-Tap Walking by 85-90 points. Ablations further show that contextualized tactile prediction and absolute future targets are critical to performance. These results indicate that predictive tactile learning provides an effective route for extending pretrained VLA policies to whole-body physical interaction.