LexiconVLA: Learning Reusable Atomic Action Codebooks for Unseen Tasks
作者: Zeming Wei, Jianheng Ye, Xinshuai Song, Sirui Chen, Yang Liu, Liang Lin
分类: cs.RO
发布日期: 2026-09-29
💡 一句话要点
提出LexiconVLA以解决未见任务中的动作重用问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 原子动作词典 跨任务重用 轨迹重建 视觉对齐 机器人操作 深度学习
📋 核心要点
- 现有的视觉-语言-动作模型在处理未见任务时，无法有效重用已学得的动作交互，导致任务成功率低。
- LexiconVLA通过构建可检索的原子动作词典，结合全局和细节代码本，增强了动作的重用性和执行的灵活性。
- 在26个RLBench任务的实验中，LexiconVLA在18个已见任务上保持了性能，并在8个未见任务上成功率显著提升。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在未见任务中难以重用重复交互。我们的诊断研究表明，可靠的任务完成并不意味着在任务上下文中一致执行构成的原子动作。我们提出了LexiconVLA，一个可检索的原子动作词典，用于跨任务重用。全局和细节代码本分别捕捉共享交互结构和细粒度执行变异，保留可重用模式和执行细节。视觉-原子动作对齐将视觉状态变化的轨迹重建与动作代码的视觉结果预测结合，基于运动及其效果为词典提供基础。我们在包含69个任务的AtomAction数据集上学习这些代码本，包含57,803个片段。
🔬 方法详解
问题定义：本论文旨在解决视觉-语言-动作模型在未见任务中无法有效重用原子动作的问题。现有方法在任务上下文中缺乏一致的动作执行，导致任务完成率低下。
核心思路：我们提出LexiconVLA，通过构建一个可检索的原子动作词典，结合全局和细节代码本，来捕捉共享的交互结构和细粒度的执行变异，从而增强动作的重用性。
技术框架：LexiconVLA的整体架构包括轨迹重建和视觉对齐两个主要模块。轨迹重建从视觉状态变化中提取信息，而视觉对齐则通过动作代码预测视觉结果，确保词典与运动及其效果的紧密结合。
关键创新：LexiconVLA的主要创新在于引入了可检索的原子动作词典，允许在不同任务间重用动作，同时通过全局和细节代码本的设计，保留了动作的执行细节和模式。
关键设计：在模型训练中，我们使用了轨迹重建和视觉对齐的损失函数，确保模型能够有效学习到动作的执行细节。此外，设计了适应新目标的场景感知适配器，避免了对特定技能专家的依赖。
🖼️ 关键图片
📊 实验亮点
在实验中，LexiconVLA在26个RLBench任务上表现出色，未见任务的成功率从16.67%提升至34.17%（提升17.50个百分点），整体成功率达到71.08%，在报告结果的方法中处于领先地位。真实机器人实验验证了其逐步执行和失败恢复的能力。
🎯 应用场景
LexiconVLA的研究成果在机器人操作、自动化任务执行和人机交互等领域具有广泛的应用潜力。通过提高未见任务的成功率，该方法能够有效提升机器人在复杂环境中的自主性和灵活性，推动智能机器人技术的发展。
📄 摘要（原文）
Vision-language-action (VLA) models struggle to reuse recurring interactions in unseen tasks. Our diagnostic study reveals that reliable task completion does not imply consistent execution of constituent atomic actions across task contexts. We present LexiconVLA, a retrievable atomic-action lexicon for cross-task reuse. Global and detail codebooks capture shared interaction structure and fine-grained execution variation, respectively, preserving both reusable patterns and execution details. Visual-Atomic Action Alignment couples trajectory reconstruction from visual state changes with visual outcome prediction from action codes, grounding the lexicon in motion and its effects. We learn these codebooks with trajectory reconstruction and visual alignment on our AtomAction Dataset of 57,803 segments from 69 tasks. A planner and scene-aware adapter translate new goals into code-conditioned subtasks for a shared policy, without skill-specific experts or deployment-time parameter updates. Across five policy backbones on 26 RLBench tasks, LexiconVLA largely maintains performance on 18 seen tasks while improving success on 8 tasks held out from policy training. With BridgeVLA, unseen-task success rises from 16.67% to 34.17% (+17.50 percentage points), and overall success reaches 71.08%, the highest among methods with reported results. Real-robot experiments demonstrate stepwise execution and failure recovery.