RynnUnify: Towards Unified Embodied Brain
作者: Minghao Zhu, Bohan Hou, Kun Xiang, Zixuan Wang, Yinzhou Tang, Yifei Yang, Zhikai Wang, Tianyi Zhang, Kehan Li, Haoyu Zhao, Siteng Huang, Leigang Qu, Sicong Leng, Dongchi Huang, Mingxiu Chen, Shijian Lu, Yue Wang, Xiaodan Liang, Zhenyu Zeng, Deli Zhao, Chengju Liu, Jianfei Yang, Xin Li
分类: cs.RO
发布日期: 2026-10-23
💡 一句话要点
提出RynnUnify以实现统一的具身智能模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身理解 视觉规划 视频-语言推理 强化学习 机器人控制 多模态模型 动态环境 智能系统
📋 核心要点
- 现有方法在具身理解和长时间视觉规划方面存在不足，难以有效连接物理世界的理解与视觉预期。
- RynnUnify通过交错的视频-语言推理，结合空间推理和物理预测，提出了一种统一的具身智能模型。
- 实验结果显示，RynnUnify在多个任务中显著提高了性能，特别是在长时间视觉规划和机器人控制方面表现优异。
📝 摘要（中文）
我们介绍了RynnUnify，这是一个结合强大具身理解与长时间视觉规划的16B统一模型，通过交错的视频-语言推理实现。RynnUnify具备空间推理、物理预测和基础知识的能力，连接了对物理世界的理解与对其在连续子任务中演变的视觉预期。在此基础上，我们通过强化学习进一步开发了一个智能扩展，选择性地使用视频预测来推理未观察状态和交互结果。此外，我们还开发了RynnUnify模型的世界-动作扩展，将其理解和预测能力转化为机器人控制。实验表明，RynnUnify在评估的统一多模态模型中实现了最高的平均具身理解分数，并在Rynn-VP上比Cosmos 3 Nano提高了9.75分。其智能扩展使Rynn-GEU的平均分提高了6.0分，而世界-动作扩展在20个选定的复合RoboCasa365任务中实现了51.5%的成功率，在三个真实机器人任务中实现了46.7%的平均成功率。这些结果共同确立了RynnUnify作为具身理解、视觉规划和机器人控制的共享基础，向统一的具身智能迈进了一步。
🔬 方法详解
问题定义：本论文旨在解决现有具身理解与视觉规划模型在长时间任务中的不足，尤其是如何有效连接物理世界的理解与视觉预期。现有方法往往无法处理复杂的动态环境和长时间的推理任务。
核心思路：RynnUnify的核心思路是通过交错的视频-语言推理，将空间推理与物理预测相结合，形成一个统一的具身智能模型。这种设计使得模型能够在处理复杂任务时，利用视频信息进行有效的推理。
技术框架：RynnUnify的整体架构包括三个主要模块：具身理解模块、视觉规划模块和智能扩展模块。具身理解模块负责解析物理世界的状态，视觉规划模块则进行长时间的任务规划，而智能扩展模块通过强化学习优化推理过程。
关键创新：RynnUnify的关键创新在于其统一的多模态推理能力，能够在不同任务中灵活应用视频预测，显著提高了推理的准确性和效率。这一创新与现有方法的本质区别在于其对动态环境的适应能力。
关键设计：在模型设计中，采用了特定的损失函数来平衡不同任务的学习目标，并通过强化学习优化模型的决策过程。此外，模型的网络结构经过精心设计，以支持高效的多模态信息融合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RynnUnify在评估的统一多模态模型中实现了最高的平均具身理解分数，Rynn-VP的整体得分比Cosmos 3 Nano提高了9.75分。其智能扩展使Rynn-GEU的平均分提高了6.0分，而世界-动作扩展在20个复合RoboCasa365任务中实现了51.5%的成功率，展现了显著的性能提升。
🎯 应用场景
RynnUnify的研究成果具有广泛的应用潜力，尤其在机器人控制、自动驾驶、智能家居等领域。通过实现统一的具身理解与视觉规划，该模型能够提升机器人在复杂环境中的自主决策能力，推动智能系统的进一步发展。未来，RynnUnify可能成为多模态智能系统的基础，促进人机协作与智能交互的进步。
📄 摘要（原文）
We introduce RynnUnify, a 16B unified embodied model that combines strong embodied understanding with long-horizon visual planning through interleaved video--language reasoning. With capabilities spanning spatial reasoning, physical prediction, and grounding, RynnUnify connects an understanding of the physical world with visual anticipation of how it evolves across successive subtasks. Building on these capabilities, we further develop an agentic extension through reinforcement learning to selectively use video predictions for reasoning about unobserved states and interaction outcomes. We also develop a world-action extension of the full RynnUnify model, translating its understanding and prediction capabilities into robot control. To evaluate these capabilities, we introduce Rynn-VP and Rynn-GEU for long-horizon visual planning and anticipatory reasoning. Experiments show that RynnUnify achieves the highest average embodied understanding score among the evaluated unified multimodal models and improves the Rynn-VP overall score by 9.75 points over Cosmos 3 Nano. Its agentic extension improves the Rynn-GEU average by 6.0 points over direct reasoning, while the world-action extension achieves 51.5\% success on 20 selected composite RoboCasa365 tasks and 46.7\% average success across three real-robot tasks. Together, these results establish RynnUnify as a shared foundation for embodied understanding, visual planning, and robot control, taking a step toward a unified embodied brain.