Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution

📄 arXiv: 2610.19495v1 📥 PDF

作者: Yunze Liu, Jing Wang, Shenrui Wu, Wenkun He, Guanqi Zhan, Xianzheng Ma, Junyu Chen, Wenhang Ge, Haozhan Tang, Yuchao Gu, Zhuoyang Zhang, Zekai Wang, Dantong Niu, Zhen Dong, Yuke Zhu, Trevor Darrell, Linxi "Jim" Fan, Song Han, Han Cai

分类: cs.RO, cs.CV

发布日期: 2026-10-14

备注: 34 pages, 14 figures. Project page: https://robota-ai.github.io/robota-embed/

💡 一句话要点

提出Robota-Embed以解决机器人上下文学习与演化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作嵌入 机器人学习 上下文理解 多模态融合 任务演化

📋 核心要点

  1. 现有方法在机器人任务执行中难以有效匹配任务、执行阶段与未来延续，导致上下文信息利用不足。
  2. 本研究提出Robota-Embed模型，通过联合编码视觉、语言和动作信息，提升机器人在上下文学习中的表现。
  3. 实验结果显示，Robota-Embed在多个任务中显著提高了成功率，尤其是在DROID-Sim和LIBERO数据集上，表现优于现有基线。

📝 摘要（中文）

本研究介绍了Robota-Embed，这是首个联合视觉-语言-动作（VLA）嵌入模型，能够同时编码任务、执行阶段及未来延续。通过预测检索训练，历史延续在推理时作为上下文使用。构建了一个包含1,695,684个清理训练锚点的多源语料库，并提出了Robota-Embed-Bench，包含4,000个查询和8,000条共享图库。Robota-Embed在检索性能上超越了现有模型，展示了其在机器人上下文学习和任务局部上下文演化中的潜力。

🔬 方法详解

问题定义：本研究旨在解决机器人在执行任务时如何有效检索和利用上下文信息的问题。现有方法往往无法同时考虑任务、执行阶段和未来延续，导致上下文信息的利用效率低下。

核心思路：Robota-Embed通过联合编码视觉、语言和动作信息，构建一个统一的嵌入空间，使得机器人能够在推理时有效利用历史经验作为上下文。这样的设计使得模型在多模态信息的整合上更为高效。

技术框架：该模型的整体架构包括三个主要模块：视觉编码器、语言编码器和动作编码器。通过预测检索训练，模型能够对当前状态和历史延续进行有效对齐，形成一个完整的上下文理解框架。

关键创新：Robota-Embed的最大创新在于其首次实现了视觉、语言和动作的联合嵌入，能够在推理时利用历史延续作为上下文，这一设计显著提升了机器人在复杂任务中的表现。

关键设计：在模型设计中，采用了多源语料库进行训练，使用了特定的损失函数以优化嵌入对齐效果。此外，模型在参数设置上进行了精细调节，以确保在不同任务中的适应性和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Robota-Embed在检索性能上达到了47.33%的片段级和81.77%的情节级R@1，相较于无动作的Gemini Embedding 2分别提升了22.09和33.47个百分点。此外，Embed2ICL和Embed2Evolve的应用展示了在DROID-Sim和LIBERO任务中成功率的显著提升，分别从47.0%提高到56.3%和从86.4%提高到92.8%。

🎯 应用场景

Robota-Embed的研究成果在多个领域具有广泛的应用潜力，包括智能机器人、自动驾驶、智能家居等。通过提升机器人在复杂环境中的上下文理解能力，该模型能够显著改善机器人在实际任务中的表现，推动智能机器人技术的发展与应用。

📄 摘要（原文）

Retrieving useful context for a robot requires matching its task, execution stage, and the continuation that should follow. We introduce Robota-Embed, to our knowledge the first vision-language-action (VLA) embedding model to jointly encode all three modalities in both current-state queries and recorded future continuations. Predictive retrieval training aligns these endpoints, enabling historical continuations to serve as context at inference time. We construct a multi-source corpus of 1,695,684 cleaned training anchors and introduce Robota-Embed-Bench, with 4,000 queries and a shared 8,000-entry gallery. Robota-Embed achieves 47.33% clip-level and 81.77% episode-level R@1, exceeding action-free Gemini Embedding 2 by 22.09 and 33.47 percentage points. Controlled retrieval studies show that removing native action degrades retrieval more than removing vision. We study two complementary applications. Embed2ICL uses retrieved experience for training-free and training-based policy conditioning, increasing success from 47.0% to 56.3% in DROID-Sim and from 86.4% to 92.8% on the LIBERO difficult subset, while improving task progress on real robots. Embed2Evolve uses execution feedback to grow task-local memory and refine context use around a frozen GPT-6 Astra policy. Across five ManiSkill tasks, it achieves 68% success, compared with 24% for GPT-6 Astra Direct and 33% for a harness independently evolved with Omni-Embed-Nemotron-3B under the same protocol. Relative to the latter, it uses approximately 79.5% fewer policy tokens per test rollout, counting both successes and failures. These results show that a unified, action-aware retrieval space can support robot in-context learning and task-local context evolution.