UniVR: Thinking in Visual Space for Unified Visual Reasoning
作者: Zhongwei Ren, Yunchao Wei, Yao Zhao, Weibo Gong, Xiao Liu, Anran Wang, Xiangtai Li, Xiaojie Jin
分类: cs.CV
发布日期: 2026-07-14
备注: Code and models are released at: https://maverickren.github.io/UniVR.github.io/
💡 一句话要点
提出UniVR以解决视觉空间推理与规划问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉推理 长期规划 强化学习 物理动态 多模态理解 视觉空间 基准评估
📋 核心要点
- 现有方法在从纯视觉数据中学习复杂推理和长期规划方面存在不足，缺乏有效的评估基准。
- UniVR通过引入VR-GRPO强化学习范式，结合全局和逐步奖励，解决了逻辑一致性和物理一致性的问题。
- UniVR在VR-X基准上实现了高达25%的性能提升，同时在多模态理解基准上也表现出色。
📝 摘要（中文）
学习从原始视觉数据中获取广泛的世界知识是智能的基本能力。我们介绍了UniVR，这是首次同时学习复杂推理、细粒度物理动态和长期规划的研究，完全基于视觉演示。UniVR的核心是VR-GRPO，这是一种具有互补全局和逐步奖励的强化学习范式，确保推理过程中的逻辑一致性和物理一致性，无需特定任务的启发式或图像-文本对。为训练和评估UniVR，我们构建了VR-X，这是一个大型基准，涵盖了长时间操作、空间难题和物理推理等16个多样化来源。UniVR在VR-X上实现了高达25%的性能提升，其卓越的视觉推理能力也提升了多模态理解基准的表现。这些发现强调了在视觉空间内推理的巨大潜力，所有代码、数据和模型均已开源以供进一步研究。
🔬 方法详解
问题定义：本论文旨在解决从纯视觉数据中学习复杂推理、物理动态和长期规划的挑战。现有方法往往依赖于特定任务的启发式或图像-文本对，导致推理过程中的一致性和准确性不足。
核心思路：UniVR的核心思路是通过VR-GRPO强化学习范式，结合全局和逐步奖励，确保推理过程中的逻辑和物理一致性。这种设计避免了对特定任务的依赖，使得模型能够在多种场景下进行有效推理。
技术框架：UniVR的整体架构包括数据采集、模型训练和评估三个主要阶段。首先，从多样化的视觉数据源中收集数据，然后使用VR-GRPO进行训练，最后在VR-X基准上进行评估。
关键创新：UniVR的最大创新在于引入了VR-GRPO强化学习范式，通过全局和逐步奖励的结合，显著提升了推理的逻辑一致性和物理一致性。这一方法与传统依赖图像-文本对的方式有本质区别。
关键设计：在模型设计中，UniVR采用了特定的损失函数来平衡全局和逐步奖励，同时在网络结构上进行了优化，以提高推理效率和准确性。
🖼️ 关键图片
📊 实验亮点
UniVR在VR-X基准上实现了高达25%的性能提升，显著优于现有方法。此外，其卓越的视觉推理能力也提升了多模态理解基准的表现，展示了在视觉空间内推理的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、虚拟现实和增强现实等。通过在视觉空间中进行推理，UniVR可以帮助智能系统更好地理解和预测环境变化，从而提升决策能力和操作效率。未来，UniVR可能在智能助手和自主系统中发挥重要作用。
📄 摘要（原文）
Learning broad world knowledge directly from raw visual data is a fundamental capability of intelligence. We introduce UniVR, the first investigation into simultaneously learning complex reasoning, fine-grained physical dynamics, and long-term planning from pure visual demonstrations. At its core, UniVR features VR-GRPO, a reinforcement learning paradigm with complementary global and step-level rewards. This approach enforces logical coherence and physical consistency throughout the reasoning process without requiring task-specific heuristics or image-text pairs. To train and evaluate UniVR, we construct VR-X, a large-scale benchmark curated from 16 diverse sources spanning long-horizon manipulation, spatial puzzles, and physical reasoning. It is the first comprehensive suite to assess these heterogeneous capabilities under a purely visual protocol. Remarkably, UniVR achieves up to a 25% improvement on VR-X, and its superior visual reasoning also boosts performance on various multimodal understanding benchmarks. These findings underscore the vast potential of reasoning within visual spaces, with all code, data, and models are open-sourced for further research.