HABILIS Brain 0: Geometry-Change Supervision for Vision-Language-Action and Residual Flow Recovery

📄 arXiv: 2609.25558v1 📥 PDF

作者: Jinu Pahk, Jesoon Kang, Taegeon Park, Jisu An, Soo Min Kimm, Jaejoon Kim, Byoung-Tak Zhang

分类: cs.RO, cs.LG

发布日期: 2026-09-22

💡 一句话要点

提出GC-VLA以解决几何监督不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 几何变化 视觉-语言-动作 机器人操作 多视角学习 残差流

📋 核心要点

  1. 现有视觉-语言-动作策略在几何监督方面存在不足，无法有效描述操作过程中的几何变化。
  2. 本文提出GC-VLA模型，通过学习当前观察来预测未来几何变化，旨在实现跨机器人和自我中心视频的预训练。
  3. GC-VLA在LIBERO数据集上取得95.20%的成功率，结合GCRF后成功率提升至99.55%，显示出显著的性能提升。

📝 摘要（中文）

视觉-语言-动作策略受益于几何监督，但现有方法仅依赖当前帧几何，未能明确描述操作相关的变化。为此，本文提出几何变化视觉-语言-动作模型（GC-VLA），通过当前观察学习预测多视角未来-当前几何变化标记。该模型分为四个阶段，最终在LIBERO数据集上取得95.20%的成功率，结合几何条件残差流（GCRF）后成功率提升至99.55%。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作策略中几何监督不足的问题，现有方法无法有效捕捉操作过程中的几何变化，导致性能受限。

核心思路：提出GC-VLA模型，通过当前观察学习预测未来几何变化标记，设计了一个跨机器人和自我中心视频的预训练框架，以实现更好的动作对齐。

技术框架：整体流程分为四个阶段：第一阶段训练几何变化视觉-语言模型（GC-VLM）；第二阶段引入连续的ActionExpert并与机器人动作对齐；第三阶段使得梯度更新可共同作用于可训练的VLM组件；第四阶段应用几何条件残差流（GCRF），使用二进制干预路由器和从闭环反馈中学习的单一有界残差速度策略。

关键创新：最重要的创新在于GC-VLA模型的设计，能够有效捕捉几何变化，并通过GCRF进一步提升动作执行的准确性，与现有方法相比，显著提高了成功率。

关键设计：模型的训练采用离线帧对定义0.5秒的预测视野，损失函数设计考虑了几何变化的准确性，网络结构则结合了视觉-语言模型与动作专家的协同训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GC-VLA在LIBERO数据集上取得95.20%的成功率，结合几何条件残差流（GCRF）后成功率提升至99.55%。这一显著提升展示了该模型在处理几何变化和动作对齐方面的有效性，超越了现有的基线方法。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过实现更精确的视觉-语言-动作对齐，GC-VLA能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action policies benefit from geometric supervision, but current-frame geometry alone does not explicitly describe the changes associated with manipulation. This design is motivated by the goal of learning an embodiment-agnostic visual interface that can be pretrained across robot and egocentric video before robot-specific action alignment. We introduce Geometry-Change VLA (GC-VLA), which learns to predict multiview future-current geometry-change tokens from current observations. Offline frame pairs define a nominal 0.5-second prediction horizon; future observations are used only to construct training targets. Stage 1 trains a geometry-change vision-language model (GC-VLM). Stage 2 introduces a continuous ActionExpert and aligns it with robot actions while stopping action-flow gradients at the VLM interface. Stage 3 enables these gradients to update the trainable VLM components jointly with the ActionExpert. Stage 4 freezes GC-VLA and applies Geometry-Conditioned Residual Flow (GCRF), using a binary intervention router and a single bounded residual velocity policy learned from closed-loop feedback. GC-VLA achieves 95.20% success on LIBERO, and GC-VLA with GCRF achieves 99.55%. Inference uses current observations and the learned GC representation without executing the offline target encoders.