REKI: Registering Knowledge in VLAs
作者: Juliette Marrie, Paul Pacaud, Adrien Ramanana Rahary, Shizhe Chen, Moritz Böhle
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-10-15
🔗 代码/项目: GITHUB
💡 一句话要点
提出REKI模型以优化视觉-语言-动作任务的性能与效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 模型优化 内存机制 机器人控制 多模态学习
📋 核心要点
- 现有视觉-语言-动作模型在性能与模型规模之间存在权衡，难以在资源受限的情况下实现高效的任务执行。
- REKI模型通过结合视觉-语言模型和流匹配动作专家，并引入内存机制，有效提升了模型的性能和效率。
- 在多个基准测试中，REKI在性能上仅被规模约为其两倍的模型超越，显示出显著的效果提升。
📝 摘要（中文）
我们介绍了REKI，一个专门在公共数据上预训练的2.4B视觉-语言-动作模型（VLA），它在性能与模型规模之间设定了新的Pareto前沿。在LIBERO-Plus、RoboTwin Clean2Rand和RoboCasa365上，只有约两倍于其规模的模型才能超越REKI。该模型由视觉-语言模型（VLM）和流匹配动作专家组成，并在经过精心策划的公共机器人、第一人称人类和视觉-语言数据的混合上进行预训练。此外，我们为其赋予了内存功能，使策略能够以极低的成本访问其近期历史：动作专家中的几个注册令牌总结了每帧VLM的输出，并保存在专家的缓存中。这种内存机制提高了仿真和真实机器人上的成功率，并使姿态之间的振荡减少了约四倍。REKI采用简单的模型设计和训练范式，优化了训练和推理的效率。我们发布了完整的代码，包括数据策划、训练、推理和评估、部署，以及所有预训练和微调的模型权重。
🔬 方法详解
问题定义：本论文旨在解决视觉-语言-动作任务中现有模型在性能与规模之间的权衡问题，现有方法往往在资源受限的情况下表现不佳。
核心思路：REKI模型通过引入内存机制，使得动作专家能够访问近期的历史信息，从而提高决策的准确性和效率。
技术框架：REKI的整体架构包括一个视觉-语言模型（VLM）和一个流匹配动作专家。模型在公共数据集上进行预训练，并通过注册令牌机制实现内存功能。
关键创新：REKI的主要创新在于其内存机制，允许模型在执行任务时利用历史信息，这在现有模型中较为少见。
关键设计：模型设计上采用了简单的结构，优化了训练和推理过程，具体参数设置和损失函数的选择均旨在提升模型的整体效率。
🖼️ 关键图片
📊 实验亮点
在LIBERO-Plus、RoboTwin Clean2Rand和RoboCasa365等基准测试中，REKI模型的表现仅被约两倍规模的模型超越，显示出其在效率和效果上的显著优势，尤其是在减少姿态振荡方面，效果提升约四倍。
🎯 应用场景
REKI模型在机器人控制、自动化任务执行和人机交互等领域具有广泛的应用潜力。其高效的性能和较小的模型规模使其适合在资源受限的环境中部署，推动智能机器人技术的发展。
📄 摘要（原文）
We introduce REKI, a 2.4B vision-language-action model (VLA) pretrained exclusively on public data that sets a new Pareto frontier between performance and model size: on LIBERO-Plus, RoboTwin Clean2Rand and RoboCasa365, it is outperformed only by models about twice its size. REKI consists of a vision-language model (VLM) followed by a flow-matching action expert, and is pretrained on a curated mixture of public robot, egocentric human and vision-language data. Additionally, we endow it with a memory that gives the policy access to its recent past at negligible cost: a few register tokens in the action expert summarise the output of the VLM at each frame and persist in the expert's cache. This memory improves success in simulation and on real robots, and makes oscillations between poses about four times rarer. REKI uses a simple model design and training paradigm, and is optimised to be efficient at training and inference. We release the full code across data curation, training, inference and evaluation, deployment, and all pretrained and finetuned model weights: https://github.com/kyutai-labs/reki.