Feature4X: Bridging Any Monocular Video to 4D Agentic AI with Versatile Gaussian Feature Fields
作者: Shijie Zhou, Hui Ren, Yijia Weng, Shuwang Zhang, Zhen Wang, Dejia Xu, Zhiwen Fan, Suya You, Zhangyang Wang, Leonidas Guibas, Achuta Kadambi
分类: cs.CV
发布日期: 2025-03-26 (更新: 2025-03-28)
💡 一句话要点
Feature4X：利用高斯特征场，桥接单目视频到4D Agentic AI
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 4D场景理解 单目视频 高斯特征场 Agentic AI 视觉基础模型 场景编辑 视觉问答
📋 核心要点
- 现有方法缺乏大规模带标注的3D/4D数据集，难以将2D模型的成功扩展到复杂的3D/4D场景交互。
- Feature4X通过动态优化策略，将多种模型能力统一到基于高斯溅射的显式4D特征场中，实现功能扩展。
- 实验证明，Feature4X能够实现新视角的分割、场景编辑和自由形式的VQA，并由LLM提供支持。
📝 摘要（中文）
本文提出Feature4X，一个通用框架，旨在将2D视觉基础模型的功能扩展到4D领域。该框架仅使用单目视频输入，即可实现各种任务。Feature4X的核心在于其多功能性，通过可适应的模型条件4D特征场蒸馏，实现任何任务。框架采用动态优化策略，将多种模型能力统一到单一表示中。据我们所知，Feature4X是第一个使用高斯溅射将视频基础模型（如SAM2、InternVideo2）的特征提炼并提升到显式4D特征场的方法。实验展示了新颖的视角分割、几何和外观场景编辑，以及跨所有时间步长的自由形式VQA，并由LLM在反馈循环中提供支持。这些进步通过为可扩展的、上下文和时空感知的沉浸式动态4D场景交互系统提供基础，从而拓宽了Agentic AI应用范围。
🔬 方法详解
问题定义：现有方法在处理3D/4D场景时，面临缺乏大规模标注数据的挑战，导致2D视觉基础模型难以直接应用于3D/4D场景的理解和交互。尤其是在开放词汇分割、基于提示的分割、语言引导编辑和视觉问答（VQA）等任务中，性能受到限制。现有方法难以充分利用单目视频中蕴含的时空信息，实现对动态场景的全面理解和交互。
核心思路：Feature4X的核心思路是将2D视觉基础模型的能力迁移到4D空间，通过单目视频输入构建一个显式的4D特征场。该特征场能够捕捉场景的几何、外观和语义信息，从而支持各种下游任务。通过动态优化策略，将多个模型的特征统一到一个表示中，实现多模态信息的融合。
技术框架：Feature4X的整体框架包括以下几个主要阶段：1) 从单目视频中提取2D特征；2) 使用高斯溅射将2D特征提升到4D空间，构建动态高斯特征场；3) 通过动态优化策略，将多个模型的特征蒸馏到该特征场中；4) 利用该特征场支持各种下游任务，如新视角分割、场景编辑和VQA。框架利用LLM在反馈循环中提供支持，增强交互能力。
关键创新：Feature4X最重要的创新点在于，它是第一个将视频基础模型（如SAM2、InternVideo2）的特征提炼并提升到显式4D特征场的方法。通过高斯溅射，能够高效地表示动态场景的几何和外观信息。此外，动态优化策略能够有效地融合多个模型的特征，提升特征场的表达能力。
关键设计：Feature4X的关键设计包括：1) 使用高斯溅射表示4D场景，每个高斯分布包含位置、颜色、不透明度等参数；2) 设计动态优化策略，通过损失函数约束特征场的学习，例如，使用分割损失、重建损失等；3) 利用预训练的2D视觉基础模型提取特征，并将其蒸馏到4D特征场中；4) 使用LLM作为反馈循环，增强交互能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Feature4X能够实现高质量的新视角分割、几何和外观场景编辑，以及自由形式的VQA。通过与LLM的结合，能够实现更自然的交互体验。该方法在多个任务上取得了显著的性能提升，证明了其有效性和通用性。例如，在场景编辑任务中，用户可以通过自然语言指令修改场景的几何和外观，实现高度定制化的效果。
🎯 应用场景
Feature4X具有广泛的应用前景，例如虚拟现实/增强现实（VR/AR）、机器人导航、自动驾驶、游戏开发等领域。它可以用于创建沉浸式的动态4D场景，支持用户进行自由形式的交互和编辑。此外，Feature4X还可以用于训练更智能的Agentic AI系统，使其能够更好地理解和操作复杂的3D/4D环境。
📄 摘要（原文）
Recent advancements in 2D and multimodal models have achieved remarkable success by leveraging large-scale training on extensive datasets. However, extending these achievements to enable free-form interactions and high-level semantic operations with complex 3D/4D scenes remains challenging. This difficulty stems from the limited availability of large-scale, annotated 3D/4D or multi-view datasets, which are crucial for generalizable vision and language tasks such as open-vocabulary and prompt-based segmentation, language-guided editing, and visual question answering (VQA). In this paper, we introduce Feature4X, a universal framework designed to extend any functionality from 2D vision foundation model into the 4D realm, using only monocular video input, which is widely available from user-generated content. The "X" in Feature4X represents its versatility, enabling any task through adaptable, model-conditioned 4D feature field distillation. At the core of our framework is a dynamic optimization strategy that unifies multiple model capabilities into a single representation. Additionally, to the best of our knowledge, Feature4X is the first method to distill and lift the features of video foundation models (e.g., SAM2, InternVideo2) into an explicit 4D feature field using Gaussian Splatting. Our experiments showcase novel view segment anything, geometric and appearance scene editing, and free-form VQA across all time steps, empowered by LLMs in feedback loops. These advancements broaden the scope of agentic AI applications by providing a foundation for scalable, contextually and spatiotemporally aware systems capable of immersive dynamic 4D scene interaction.