YUBI-STAG: Contact and Semantic-Rich Alignment for VLAs via Automated Video-Language Grounding

📄 arXiv: 2610.09718v1 📥 PDF

作者: Masatoshi Tateno, Takehiko Ohkawa, Yueh-Hua Wu, Hanlong Li, Tatsuya Matsushima, Yoichi Sato, Kei Ota

分类: cs.RO, cs.CV

发布日期: 2026-10-07

备注: Project page: https://yubi-stag.airoa.io/

💡 一句话要点

提出YUBI-STAG框架以解决VLA模型与细粒度语言对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 自动化注释 细粒度对齐 接触物体分割 多模态学习 机器人操作 智能自动化

📋 核心要点

  1. 现有的VLA模型在语言引导下的细粒度对齐存在不足，无法有效捕捉操作细节。
  2. YUBI-STAG框架通过自动化注释丰富操作演示，结合接触物体分割与视觉-语言模型，实现细粒度对齐。
  3. 实验结果表明，YUBI-VLM在注释准确性和运行效率上均优于YUBI-STAG，同时能够处理未见的操作任务。

📝 摘要（中文）

视觉-语言-动作（VLA）模型通过大规模预训练获得广泛的操作能力，但通过语言引导它们需要指令与物理交互之间的细粒度对齐。现有的机器人演示通常只提供粗略的任务描述，忽略了动作的执行细节。我们提出YUBI-STAG框架，自动丰富操作演示的交互语义，以将预训练的VLA与细粒度的操作语言对齐。YUBI-STAG结合接触物体分割与视觉-语言模型，注释对象身份、属性和状态、每个抓手的动作、双手协调和空间基础的交互。我们在YUBI-STAG-Bench上评估了两个框架，YUBI-VLM在较少的推理调用和更短的运行时间下保留了YUBI-STAG的大部分注释准确性，并能够推广到未见的操作。

🔬 方法详解

问题定义：论文旨在解决VLA模型在语言引导下与物理交互之间的细粒度对齐问题。现有方法通常只提供粗略的任务描述，缺乏对动作执行细节的关注，导致模型在实际应用中的表现受限。

核心思路：YUBI-STAG框架通过自动化的空间-时间注释和对齐，丰富操作演示中的交互语义，以实现与细粒度操作语言的对齐。该框架结合了接触物体分割和视觉-语言模型，能够注释对象的身份、属性、状态以及抓手的具体动作。

技术框架：YUBI-STAG的整体架构包括多个模块：接触物体分割模块、视觉-语言模型模块和注释生成模块。YUBI-VLM则是对YUBI-STAG的蒸馏版本，能够从原始未分割视频中直接恢复动作结构和注释，且仅需少量推理调用。

关键创新：YUBI-STAG的主要创新在于其自动化的注释过程和细粒度的交互语义捕捉能力，与现有方法相比，能够更全面地理解和执行复杂的操作任务。

关键设计：在设计中，YUBI-STAG采用了多阶段的视觉-语言模型推理，并通过特定的损失函数优化注释的准确性。YUBI-VLM则通过简化推理过程，减少了对计算资源的需求，同时保持了高水平的注释准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，YUBI-VLM在YUBI-STAG-Bench上的表现优于基线方法，注释准确性保持在高水平，同时推理调用次数减少，运行时间缩短。具体而言，YUBI-VLM在处理未见操作时的泛化能力显著提升，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等。通过实现更精确的操作语言与机器人行为的对齐，YUBI-STAG框架可以显著提升机器人在复杂环境中的操作能力，推动智能自动化的发展。未来，该技术可能在家庭服务机器人、工业机器人和教育机器人等多个领域产生深远影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models acquire broad manipulation capabilities via large-scale pretraining, yet eliciting them through language requires fine-grained alignment between instructions and physical interactions. Existing robot demonstrations typically provide only coarse task descriptions, omitting how actions are executed, including which gripper acts, which object is contacted, and how it is grasped and moved. We introduce YUBI-STAG, a framework for Spatio-Temporal Annotation and Grounding that automatically enriches manipulation demonstrations with interaction-rich semantics to align pretrained VLAs with fine-grained manipulation language. Combining contact-object segmentation with vision-language models, YUBI-STAG annotates object identities, attributes and states, per-gripper actions, bimanual coordination, and spatially grounded interactions. To address YUBI-STAG's reliance on localized sequences and multi-stage VLM inference, we distill it into YUBI-VLM. YUBI-VLM directly recovers action structure and annotations from raw, unsegmented video in few inference calls and operates from wrist views alone. We evaluate both frameworks on YUBI-STAG-Bench across temporal, semantic, and spatial grounding tasks. YUBI-VLM retains much of YUBI-STAG's annotation accuracy with fewer inference calls and shorter runtime while generalizing to unseen manipulations. Finally, post-training VLA policies on these annotations aligns them with fine-grained language and contact-aware structure. Bimanual experiments demonstrate improved performance and instruction following, including control over object identity, acting gripper, target location, and spatial relations absent from original labels.