Task Reconstruction and Extrapolation for $π_0$ using Text Latent

📄 arXiv: 2505.03500v4 📥 PDF

作者: Quanyi Li

分类: cs.RO

发布日期: 2025-05-06 (更新: 2025-08-03)

💡 一句话要点

提出文本潜在空间重构与外推方法以提升VLA任务表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动模型 任务外推 文本潜在空间 行为重组 机器人操作 智能助手 自动化系统

📋 核心要点

  1. 现有的视觉-语言-行动模型在任务外推时表现不佳，无法有效组合不同任务的技能。
  2. 本文提出通过操控VLA的文本潜在空间，在推理时重组来自不同任务的行为，以实现任务外推。
  3. 实验结果表明，使用文本潜在空间插值的$ ext{π}_0$在libero-ood基准上取得了83%的成功率，显著优于其他模型。

📝 摘要（中文）

视觉-语言-行动模型（VLA）在执行已演示任务时表现优异，但在需要将不同任务的技能组合成新方式时却面临显著挑战。本文展示了通过在推理时操控VLA的内部表示，可以有效地重组来自不同任务的行为。具体而言，我们通过对特定基础任务的所有演示轨迹的文本标记隐藏状态进行平均，识别文本潜在空间。在执行外推任务时，我们可以对两个基础任务的文本潜在空间进行时间插值，并将其添加回文本隐藏状态，从而顺序激活两个任务的子行为。我们在新创建的libero-ood基准上评估了该方法，结果显示，所有最先进的VLA在该基准上的成功率均低于15%，而使用文本潜在空间插值的$ ext{π}_0$达到了83%的成功率。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-行动模型在任务外推时的表现不足，现有方法在组合不同任务技能时存在显著挑战，导致成功率低下。

核心思路：通过在推理阶段操控VLA的内部表示，具体是通过识别和插值文本潜在空间，来有效重组来自不同任务的行为，从而实现任务外推。

技术框架：整体流程包括识别特定基础任务的文本潜在空间、对两个基础任务的文本潜在空间进行时间插值，并将其添加回文本隐藏状态，以顺序激活子行为。

关键创新：最重要的创新在于通过文本潜在空间的插值实现了任务外推，这一方法与现有的直接任务组合方法有本质区别，能够更灵活地处理新任务。

关键设计：在参数设置上，采用了对文本标记隐藏状态的平均计算，损失函数设计上关注于如何有效地激活子行为，网络结构则保持了VLA的基本架构，同时引入了潜在空间插值的模块。

📊 实验亮点

实验结果显示，所有最先进的视觉-语言-行动模型在libero-ood基准上的成功率均低于15%，而使用文本潜在空间插值的$ ext{π}_0$成功率高达83%，显示出显著的性能提升。此外，定性分析表明，现有模型存在空间过拟合的问题，影响了其对目标的真实理解。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、智能助手和自动化系统等，能够提升这些系统在复杂任务中的灵活性和适应能力。未来，随着技术的进一步发展，可能会在更多实际场景中实现更高效的任务执行和人机交互。

📄 摘要（原文）

Vision-language-action models (VLAs) often achieve high performance on demonstrated tasks but struggle significantly when required to extrapolate, combining skills learned from different tasks in novel ways. For instance, VLAs might successfully put the cream cheese in the bowl and put the bowl on top of the cabinet, yet still fail to put the cream cheese on top of the cabinet. In this work, we demonstrate that behaviors from distinct tasks can be effectively recombined by manipulating the VLA's internal representations at inference time. Concretely, we identify the text latent by averaging the text tokens' hidden states across all demonstrated trajectories for a specific base task. For executing an extrapolated task, we can temporally interpolate the text latent of the two base tasks and add it back to the text hidden states, so sub-behaviors from the two tasks will be activated sequentially. We evaluate this approach using the newly created libero-ood benchmark, featuring 20 tasks extrapolated from standard LIBERO suites. The results on libero-ood show that all SOTA VLAs achieve < 15% success rate, while $\pi0$ with text latent interpolation reaches an 83% success rate. Further qualitative analysis reveals a tendency for VLAs to exhibit spatial overfitting, mapping object names to demonstrated locations rather than achieving genuine object and goal understanding. Additionally, we find that decoding the text latent yields human-unreadable prompts that can nevertheless instruct the VLA to achieve a 70% success rate on standard LIBERO suites, enabling private instruction or backdoor attacks.