JoyAI-RA 0.1: A Foundation Model for Robotic Autonomy

📄 arXiv: 2604.20100v1 📥 PDF

作者: Tianle Zhang, Zhihao Yuan, Dafeng Chi, Peidong Liu, Dongwei Li, Kejun Hu, Likui Zhang, Junnan Nie, Ziming Wei, Zengjue Chen, Yili Tang, Jiayi Li, Zhiyuan Xiang, Mingyang Li, Tianci Luo, Hanwen Wan, Ao Li, Linbo Zhai, Zhihao Zhan, Yuzheng Zhuang, Liang Lin, Xiaodong Bai, Jiakun Cai, Peng Cao, Kangliang Chen, Siang Chen, Yixiang Dai, Shuai Di, Nan Duan, Yicheng Gong, Chenguang Gui, Yucheng Guo, Peng Hao, Qingrong He, Haoyang Huang, Kunrui Huang, Zhixuan Huang, Shibo Jin, Yixiang Jin, Anson Li, Dongjiang Li, Jiawei Li, Ruodai Li, Yihang Li, Yuzhen Li, Jiaming Liang, Fangsheng Liu, Jing Long, Mingxi Luo, Xing Pan, Hui Shen, Xiaomeng Tian, Daming Wang, Song Wang, Junwu Xiong, Hang Xu, Wanting Xu, Zhengcheng Yu, He Zhang, Jiyao Zhang, Lin Zhao, Chen Zhou

分类: cs.RO

发布日期: 2026-04-22

💡 一句话要点

提出JoyAI-RA，一个用于机器人自主的视觉-语言-动作具身基础模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人自主 具身智能 视觉-语言-动作模型 多模态学习 跨具身泛化

📋 核心要点

  1. 现有机器人数据集规模和任务覆盖有限，且不同机器人之间的差异阻碍了知识迁移。
  2. JoyAI-RA提出多源多级预训练框架，融合网络数据、人类操作视频、模拟轨迹和真实机器人数据。
  3. JoyAI-RA在模拟和真实世界基准测试中表现优异，尤其在需要泛化的任务上。

📝 摘要（中文）

开放世界环境中机器人自主性的根本限制在于数据多样性不足和跨具身泛化能力差。现有的机器人数据集通常规模有限且任务覆盖范围窄，而机器人具身之间的相对较大差异阻碍了有效的行为知识转移。为了应对这些挑战，我们提出了JoyAI-RA，一个专为可泛化机器人操作量身定制的视觉-语言-动作（VLA）具身基础模型。JoyAI-RA提出了一个多源多级预训练框架，集成了网络数据、大规模以自我为中心的人类操作视频、模拟生成的轨迹和真实机器人数据。通过在具有显式动作空间统一的异构多源数据上进行训练，JoyAI-RA有效地弥合了具身差距，特别是人类操作和机器人控制之间的差距，从而增强了跨具身行为学习。JoyAI-RA在模拟和真实世界基准测试中均优于最先进的方法，尤其是在具有泛化需求的多样化任务上。

🔬 方法详解

问题定义：现有机器人自主系统面临数据多样性不足和跨具身泛化能力差的问题。具体来说，现有的机器人数据集规模有限，任务覆盖范围窄，难以训练出泛化能力强的模型。此外，不同机器人平台之间的差异较大，导致在一个平台上训练的模型难以直接迁移到另一个平台上。这些问题限制了机器人自主系统在开放世界环境中的应用。

核心思路：JoyAI-RA的核心思路是通过多源数据融合和动作空间统一来解决数据多样性和跨具身泛化问题。通过整合网络数据、人类操作视频、模拟轨迹和真实机器人数据，JoyAI-RA可以学习到更丰富的行为知识。同时，通过显式地统一不同具身的动作空间，JoyAI-RA可以弥合具身差距，实现跨具身行为学习。

技术框架：JoyAI-RA采用多源多级预训练框架。该框架包含以下几个主要模块：1) 数据收集模块，负责收集来自不同来源的数据，包括网络数据、人类操作视频、模拟轨迹和真实机器人数据；2) 数据预处理模块，负责对收集到的数据进行清洗、标注和格式转换；3) 模型训练模块，负责使用预处理后的数据训练视觉-语言-动作（VLA）具身基础模型；4) 模型评估模块，负责评估训练好的模型在模拟和真实世界环境中的性能。

关键创新：JoyAI-RA最重要的技术创新点在于其多源数据融合和动作空间统一策略。通过融合来自不同来源的数据，JoyAI-RA可以学习到更丰富的行为知识，从而提高模型的泛化能力。通过显式地统一不同具身的动作空间，JoyAI-RA可以弥合具身差距，实现跨具身行为学习。

关键设计：JoyAI-RA的关键设计包括：1) 采用Transformer架构作为VLA模型的基础架构；2) 使用对比学习损失函数来学习视觉、语言和动作之间的关联；3) 设计了一种动作空间统一模块，将不同具身的动作映射到统一的动作空间；4) 使用 curriculum learning 策略来逐步增加训练数据的难度。

📊 实验亮点

JoyAI-RA在模拟和真实世界基准测试中均取得了显著的性能提升。具体来说，在模拟环境中，JoyAI-RA在多个任务上的性能超过了现有最先进的方法。在真实世界环境中，JoyAI-RA也表现出了良好的泛化能力，能够成功完成各种复杂的操作任务。实验结果表明，JoyAI-RA在数据多样性和跨具身泛化方面具有显著优势。

🎯 应用场景

JoyAI-RA具有广泛的应用前景，可用于开发各种机器人自主系统，例如家庭服务机器人、工业机器人和医疗机器人。该模型可以帮助机器人更好地理解人类指令，执行复杂任务，并适应不同的环境和场景。未来，JoyAI-RA有望推动机器人技术的发展，使机器人能够更好地服务于人类社会。

📄 摘要（原文）

Robotic autonomy in open-world environments is fundamentally limited by insufficient data diversity and poor cross-embodiment generalization. Existing robotic datasets are often limited in scale and task coverage, while relatively large differences across robot embodiments impede effective behavior knowledge transfer. To address these challenges, we propose JoyAI-RA, a vision-language-action (VLA) embodied foundation model tailored for generalizable robotic manipulation. JoyAI-RA presents a multi-source multi-level pretraining framework that integrates web data, large-scale egocentric human manipulation videos, simulation-generated trajectories, and real-robot data. Through training on heterogeneous multi-source data with explicit action-space unification, JoyAI-RA effectively bridges embodiment gaps, particularly between human manipulation and robotic control, thereby enhancing cross-embodiment behavior learning. JoyAI-RA outperforms state-of-the-art methods in both simulation and real-world benchmarks, especially on diverse tasks with generalization demands.