InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies
作者: Sai Puneeth Reddy Gottam, Elmar Rueckert, Vedant Dave
分类: cs.RO, cs.AI
发布日期: 2026-09-23
💡 一句话要点
提出InfiNoVA以解决机器人策略对视角依赖的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 数据增强 机器人策略 视角鲁棒性 多相机系统
📋 核心要点
- 现有的视觉-语言-动作策略在未见视角下表现不佳，导致性能显著下降。
- InfiNoVA通过将多相机演示转换为几何一致的训练视图，解决了视角依赖问题。
- 实验表明，使用InfiNoVA训练的策略在未见视角下的成功率显著提高，达到了5.4倍的提升。
📝 摘要（中文）
视觉-语言-动作（VLA）策略通常对训练期间所见的相机视角高度依赖，这在从未见过的视角部署时会导致显著的性能下降。收集来自多样化物理视角的演示成本高昂，且覆盖的视角空间仍然稀疏。为此，本文提出了InfiNoVA，一个数据增强框架，将同步的多相机演示转换为几何一致的训练视图的密集分布。InfiNoVA将每个操作轨迹重建为时变的3D高斯表示，并从采样的相机姿态渲染新观察，同时保持原始状态-动作对应关系。该显式场景表示提高了帧级保真度和时间一致性，同时减少了在生成新视角合成中观察到的任务关键性幻觉。在四个真实世界的操作任务中，使用InfiNoVA训练的策略在未见随机视角下的平均成功率比基于VISTA的增强和未增强策略高出5.4倍。InfiNoVA的成功率比直接在五个物理相机视角上训练高出1.7倍。这些结果表明，密集的几何基础视角增强为实现相机鲁棒的机器人策略提供了一条实用的途径，而无需修改基础策略架构。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作策略在未见相机视角下的性能下降问题。现有方法依赖于有限的物理视角，导致训练数据稀疏，无法覆盖广泛的视角空间。
核心思路：InfiNoVA的核心思想是通过数据增强技术，将同步的多相机演示转换为几何一致的密集视角分布，从而提高策略的视角鲁棒性。该方法通过重建操作轨迹为时变的3D高斯表示，能够生成新的观察视角，同时保持状态与动作之间的对应关系。
技术框架：InfiNoVA的整体架构包括数据收集、轨迹重建、视角采样和新视角渲染四个主要模块。首先收集多相机的同步演示数据，然后重建每个操作轨迹，接着从不同的相机姿态中采样并渲染新视角的观察。
关键创新：最重要的技术创新在于通过几何一致的3D高斯表示实现了密集的视角增强。这一方法与传统的视角增强技术相比，能够更好地保持状态-动作对应关系，减少生成过程中的幻觉现象。
关键设计：在设计中，InfiNoVA采用了时变的3D高斯模型来表示操作轨迹，并通过特定的损失函数来优化生成的新视角观察，以确保其与原始数据的一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用InfiNoVA训练的策略在未见随机视角下的平均成功率比基于VISTA的增强方法高出5.4倍，且比直接在五个物理相机视角上训练的成功率高出1.7倍。这些数据表明，InfiNoVA显著提升了机器人策略的视角鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶和人机交互等。通过提高机器人策略在不同视角下的鲁棒性，InfiNoVA能够在实际应用中减少对特定视角的依赖，从而提升机器人的适应能力和灵活性。未来，该方法可能会推动更广泛的机器人技术发展，尤其是在复杂环境中的自主操作能力。
📄 摘要（原文）
Vision-Language-Action (VLA) policies often rely strongly on the camera viewpoints seen during training, causing substantial performance degradation when deployed from unseen perspectives. Collecting demonstrations from sufficiently diverse physical viewpoints is expensive and still provides only sparse coverage of the viewpoint space. We introduce InfiNoVA, a data-augmentation framework that converts synchronized multi-camera demonstrations into a dense distribution of geometrically consistent training views. InfiNoVA reconstructs each manipulation trajectory as a time-varying 3D Gaussian representation and renders novel observations from sampled camera poses while preserving the original state-action correspondence. This explicit scene representation improves frame-level fidelity and temporal consistency while reducing task-critical hallucinations observed in generative novel-view synthesis. Across four real-world manipulation tasks, policies trained with InfiNoVA achieve 5.4x higher average success under unseen randomized viewpoints than both VISTA-based augmentation and the unaugmented policy. InfiNoVA further achieves 1.7x higher success than training directly on all five physical camera views. These results show that dense, geometrically grounded viewpoint augmentation provides a practical route toward camera-robust robot policies without modifying the underlying policy architecture.