PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models

📄 arXiv: 2609.14973v1 📥 PDF

作者: DeepCybo Team, Yu Bin, Haipeng Cao, Zheng Chang, Kai Chen, Youning Chen, Kailin Deng, Yichao Du, Xiaotong Fu, Haoyang Ge, Yunlong Guo, Chenliu Hao, Jiyan He, Xuguo He, Yakun Hou, Kai Hu, Cong Huang, Tuopusen Huang, Yu Huang, Hong Li, Peize Li, Shijie Lian, Xiaopeng Lin, Yun Lin, Haibao Liu, Haochen Liu, Qiuzhi Liu, Shengcai Liu, Zhiqiang Liu, Tao Luo, Peng Ren, Shuo Ren, Chaoyi Ruan, Zhaolong Shen, Yukun Shi, Qiyuan Su, Yuxuan Tian, Yining Wang, Changti Wu, Hao Wu, Xueyin Xu, Ruoqi Yang, Zhaoyang Yang, Hang Yuan, Zhaoyang Zeng, Hanwen Zhang, Ruimeng Zhang, Yao Zhang, Yibo Zhang, Yuxiang Zhang, Zhirui Zhang, Ziyi Zhang, Zubin Zheng, Zishen Zhuang

分类: cs.CV, cs.RO

发布日期: 2026-09-14

备注: PhysBrain 1.5 technical report. Project: https://deepcybo-physai.github.io/PhysBrain-1.5/

💡 一句话要点

提出PhysBrain 1.5以解决物理环境理解与预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物理环境理解 动作生成 未来状态预测 多模态学习 具身智能 视觉-语言模型 机器人控制 智能交互

📋 核心要点

  1. 现有方法在物理环境理解和动作生成方面存在局限，难以有效整合视觉和语言信息。
  2. 论文提出的PhysBrain 1.5模型通过统一学习框架，将视觉、语言和物理交互能力结合，提升了理解和预测能力。
  3. 在28个基准测试中，PhysBrain 1.5模型平均得分72.5，超越了现有开源模型，展现出强大的多模态能力。

📝 摘要（中文）

我们提出了PhysBrain 1.5，这是一个统一模型，用于理解物理环境、生成动作和预测未来状态。该模型基于观察、交互和环境变化的物理循环，将这些能力整合到一个共同的学习框架中。模型从通用的视觉-语言模型出发，将语言响应、末端执行器运动和密集视觉目标编码为离散序列，并通过自回归的下一个标记预测进行联合优化。预训练完全基于人类交互视频的具身监督，使用任务中心的情节将语义和空间上下文与恢复的运动和后续观察配对。经过监督微调后，模型在28个具身理解基准上取得了平均得分72.5，设立了新的开源最佳表现，并与领先的专有模型如GPT-6-Astra和Gemini 3.6 Flash表现相当。

🔬 方法详解

问题定义：本论文旨在解决物理环境理解、动作生成和未来状态预测的综合问题。现有方法在整合视觉和语言信息方面存在不足，难以有效应对复杂的物理交互场景。

核心思路：PhysBrain 1.5的核心思路是将视觉-语言模型与物理交互能力结合，通过自回归的方式优化离散序列，从而实现对物理环境的全面理解和预测。这样的设计使得模型能够在动态环境中进行有效的决策和动作生成。

技术框架：模型的整体架构包括预训练和微调两个阶段。预训练阶段利用人类交互视频进行具身监督，结合任务中心的情节进行语义和空间上下文的配对；微调阶段则使用人类示范、机器人轨迹和模拟经验的混合数据进行优化。

关键创新：最重要的技术创新在于将视觉、语言和物理交互能力统一到一个模型中，突破了传统模型在多模态学习中的局限，提升了模型的综合性能。

关键设计：模型采用8B参数设置，损失函数设计为自回归预测损失，网络结构上结合了视觉编码器和语言解码器，以实现高效的信息融合与处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PhysBrain 1.5在28个具身理解基准测试中平均得分72.5，设立了新的开源最佳表现，并在14个基准上取得最佳结果，展现出与领先专有模型相当的性能，证明了其强大的多模态能力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能家居、自动驾驶等，能够在复杂的物理环境中实现更高效的决策和交互。未来，PhysBrain 1.5有望推动多模态学习和具身智能的发展，提升人机协作的智能水平。

📄 摘要（原文）

We present PhysBrain 1.5, a unified model for understanding physical environments, generating actions, and predicting future states. Motivated by the physical loop of observation, interaction, and environmental change, we bring these capabilities into a common learning framework. Starting from a general vision--language model, we encode language responses, end-effector motion, and dense visual targets as discrete sequences and jointly optimize them with autoregressive next-token prediction. Pre-training draws its embodied supervision entirely from human interaction videos, using task-centered episodes to pair semantic and spatial context with recovered motion and subsequent observations. We then adapt the model through supervised fine-tuning on a mixture of human demonstrations, robot trajectories, and simulated experience. Across 28 embodied understanding benchmarks, our 8B model achieves an average score of 72.5, setting a new open-source state of the art and performing on par with leading proprietary models such as GPT-6-Astra and Gemini 3.6 Flash. It achieves the best open-source results on 14 benchmarks while retaining general multimodal capabilities. Beyond these understanding evaluations, qualitative examples show the model's ability to produce end-effector trajectories and predict future scenes through spatially aligned RGB, depth, and robot-mask outputs.