CondenseVLA: Learnable History Condensation for Efficient Multi-Frame VLA
作者: Feiyang Hong, Yujie Wei, Bo Zhao, Xiu Su, Hongxun Yao, Shuo Yang
分类: cs.CV, cs.RO
发布日期: 2026-10-19
备注: Accepted at NeurIPS 2026. 39 pages, including supplementary material and the NeurIPS paper checklist. Project page: https://github.com/FeiyangHong/CondenseVLA
🔗 代码/项目: GITHUB
💡 一句话要点
提出CondenseVLA以解决机器人操作中的短期视觉信息整合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 历史凝聚 机器人操作 多帧信息整合 可学习模块
📋 核心要点
- 现有方法在处理短期视觉信息时，往往依赖扩大历史窗口，导致计算成本高且效果提升有限。
- 本文提出CondenseVLA，通过可学习的历史凝聚模块，将观察历史提炼为固定的槽令牌，以提高动作解码的效率。
- 实验结果表明，CondenseVLA在多个任务上成功率显著提升，如Simper-WidowX从58.7%提升至69.8%。
📝 摘要（中文）
机器人操作通常依赖短期线索，如短暂接触、临时遮挡和中间物体状态，这些在单帧中模糊不清，需通过时间整合观察来解决。然而，仅通过扩大历史窗口注入历史信息计算成本高且收益有限。本文提出CondenseVLA，一种具有可学习解码器侧历史凝聚模块的多帧视觉-语言-行动（VLA）策略，用于在动作解码中利用短期视觉上下文。CondenseVLA通过可学习查询和多头交叉注意力将观察历史提炼为固定的槽令牌，简单的辅助正则化惩罚槽注意力图的重叠，鼓励互补注意力并减少槽冗余。实验结果显示，CondenseVLA在多个任务上显著提升成功率，支持选择性凝聚有限的近期视觉证据用于动作解码。
🔬 方法详解
问题定义：本文旨在解决机器人操作中短期视觉信息整合的效率问题。现有方法通过扩大历史窗口来注入历史信息，但计算成本高且常常导致冗余，效果提升有限。
核心思路：CondenseVLA通过引入可学习的历史凝聚模块，将观察历史提炼为固定的槽令牌，利用短期视觉上下文来优化动作解码过程。这种设计旨在减少冗余信息，提高解码效率。
技术框架：CondenseVLA的整体架构包括一个视觉-语言-行动（VLA）骨干网络和一个历史凝聚模块。该模块通过可学习查询和多头交叉注意力机制，将每帧的特征整合为槽令牌，进而用于动作解码。
关键创新：最重要的技术创新在于引入了可学习的历史凝聚模块，通过简单的辅助正则化来减少槽注意力图的重叠，鼓励互补注意力，从而有效降低槽冗余。这与现有方法的固定历史窗口设计形成了本质区别。
关键设计：在设计中，采用了多头交叉注意力机制和可学习查询，此外，辅助正则化的损失函数被用来惩罚槽之间的重叠，确保槽嵌入的去相关性，从而提高模型的整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CondenseVLA在Simper-WidowX任务上的成功率从58.7%提升至69.8%（提升11.1个百分点），在LIBERO任务上达到了97.2%的成功率，并在实际任务中取得52.8%的成功率，显示出其在多帧视觉信息处理中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景，能够有效提升机器人在复杂环境中的操作能力。通过优化短期视觉信息的利用，CondenseVLA有望在实际应用中实现更高的效率和准确性，推动智能机器人技术的发展。
📄 摘要（原文）
Robot manipulation often depends on short-term cues - such as brief contacts, temporary occlusions, and intermediate object states - that are ambiguous in a single frame and can only be resolved by integrating observations over time. However, injecting historical information solely by enlarging the history window is computationally costly and frequently yields limited gains due to substantial redundancy and task-agnostic, inflexible sampling of observations. We propose CondenseVLA, a multi-frame VLA policy with a learnable decoder-side history condensation module for using short-term visual context in action decoding. Given a sequence of cached per-frame features from the VLM backbone, CondenseVLA distills observation history into a fixed set of slot tokens using learnable queries and multi-head cross-attention. Simple auxiliary regularization penalizes overlap among slot attention maps and decorrelates slot embeddings, encouraging complementary attention and reducing slot redundancy. Across the evaluated tasks, CondenseVLA improves Simpler-WidowX success from 58.7% to 69.8% (+11.1 percentage points), achieves 97.2% on LIBERO, and reaches 52.8% on real-world tasks. It achieves 21.6% success on memory-dependent RMBench tasks. These results support selective condensation of bounded recent visual evidence for action decoding, while harder multi-observation tasks expose the limits of a finite history window. Project page: https://github.com/FeiyangHong/CondenseVLA