OmniFysics-Nano-V2 Technical Report: Understanding the Physical World Across Modalities

📄 arXiv: 2609.25738v1 📥 PDF

作者: Yizhou Liu, Jinghang Han, Kaixiang Qiu, Qi He, Minghao Han, Yue Jiang, Xujia Chen, Wei Zou, Shunli Wang, Lihua Zhang, Dingkang Yang

分类: cs.AI

发布日期: 2026-09-22

备注: 24 pages

💡 一句话要点

提出OmniFysics-Nano-V2以解决物理世界理解不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全模态模型 物理感知 因果机制 多模态交互 强化学习 数据管道 物理AI

📋 核心要点

  1. 现有全模态模型在物理属性和因果机制的理解上存在不足，无法有效连接观察与物理世界的结构。
  2. 提出的OmniFysics-Nano-V2模型通过双分支物理感知数据管道和多样化奖励机制，增强了物理监督和训练目标的多样性。
  3. 实验结果表明，该模型在物理世界理解上显著提升，在21个基准测试中有17个超越了当前最先进的全模态模型。

📝 摘要（中文）

OmniFysics-Nano-V2是一种紧凑的全模态模型，旨在提升对物理世界的感知与理解。现有的全模态模型主要围绕语义描述和通用目标进行训练，未能充分考虑物理属性、交互状态和因果机制。为此，本文构建了一个双分支的物理感知数据管道，将显著对象与结构化物理属性相结合，并将视觉变化与声学事件、交互结果对齐。通过多样化的奖励机制和两阶段的相对策略优化课程，模型在物理世界理解方面表现出色，同时保持了广泛的全模态能力。实验结果显示，该模型在21个基准中有17个超越了现有的最先进全模态模型。

🔬 方法详解

问题定义：现有全模态模型在训练时主要关注语义描述，缺乏对物理属性和因果关系的明确监督，导致物理世界理解不足。

核心思路：OmniFysics-Nano-V2通过构建双分支的物理感知数据管道，结合视觉和声学信息，增强模型对物理世界的理解能力。

技术框架：模型整体架构包括图像、视频、音频、语音和文本输入，采用共享推理框架，并支持文本和语音生成。数据管道通过物理属性对显著对象进行标定，并将视觉变化与声学事件对齐。

关键创新：最重要的创新在于引入了物理感知的数据管道和多样化的奖励机制，使得模型在物理感知上具备更强的能力，与现有方法相比，提供了更为细致的物理监督。

关键设计：模型采用两阶段的相对策略优化课程，首先关注任务的正确性，随后细化到物理感知的推理，确保训练目标的多样性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，OmniFysics-Nano-V2在21个基准测试中有17个超越了当前最先进的全模态模型，显示出在物理世界理解方面的显著提升。这一成果验证了其在多模态、音频-视觉和物理推理基准上的有效性。

🎯 应用场景

OmniFysics-Nano-V2的研究成果在多个领域具有广泛的应用潜力，包括智能机器人、自动驾驶、增强现实和虚拟现实等。通过提升AI系统对物理世界的理解能力，该模型能够更好地处理复杂的交互任务，推动物理AI的下一步发展。

📄 摘要（原文）

Omni-modal models have expanded multimodal interaction across vision, audio, speech, and language. However, their training is predominantly organized around semantic descriptions and general-purpose objectives, leaving physical attributes, interaction states, and causal mechanisms only partially specified. This gap is not simply a matter of modality coverage: adding more modalities does not by itself provide the supervision needed to connect observations with the physical structure of the world. We present OmniFysics-Nano-V2, a compact omni-modal model for physical-world perception and understanding. The model supports image, video, audio, speech, and text inputs within a shared reasoning framework, together with text and speech generation. To address the lack of explicit physical supervision, we construct a dual-branch physics-aware data pipeline that grounds salient objects in structured physical attributes and aligns visual changes with acoustic events, intermediate responses, and interaction outcomes. To address homogeneous training objectives, we curate reinforcement-learning prompts by reward diversity and adopt a two-stage Group Relative Policy Optimization curriculum that progresses from general task correctness to fine-grained physical perceptual reasoning. Experiments across multimodal, audio-visual, and physical reasoning benchmarks show that the proposed data and training strategy improves physical-world understanding while preserving broad omni-modal competence. The proposed model achieves leading result on 17 of 21 benchmarks against SOTA omni-modal models. By equipping AI systems with both omni-modal and physical-world perception capabilities, OmniFysics-Nano-V2 is poised to become a cornerstone of next-generation Physical AI.