NVSPolicy: Adaptive Novel-View Synthesis for Generalizable Language-Conditioned Policy Learning
作者: Le Shi, Yifei Shi, Xin Xu, Tenglong Liu, Junhua Xi, Chengyuan Chen
分类: cs.RO, cs.CV
发布日期: 2025-05-15
💡 一句话要点
NVSPolicy：面向通用语言条件策略学习的自适应新视角合成方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 语言条件策略学习 新视角合成 视觉特征解耦 深度生成模型
📋 核心要点
- 现有方法难以有效利用生成图像进行策略学习，主要挑战在于生成图像的伪影和多模态特征的低效融合。
- NVSPolicy通过自适应选择视角并合成新视角图像来丰富视觉上下文，并采用循环一致VAE解耦语义和剩余特征。
- 实验表明，NVSPolicy在CALVIN基准测试中取得了SOTA性能，平均成功率达到90.4%，并在真实机器人平台上验证了其可行性。
📝 摘要（中文）
深度生成模型在零样本泛化方面展现了前所未有的能力，为非结构化环境中的机器人操作提供了巨大的潜力。给定场景的部分观测，深度生成模型可以生成未见区域，从而提供更多上下文，增强机器人跨未见环境的泛化能力。然而，由于生成图像中的视觉伪影以及多模态特征在策略学习中的低效集成，这一方向仍然是一个开放的挑战。我们提出了NVSPolicy，一种通用的语言条件策略学习方法，它将自适应新视角合成模块与分层策略网络相结合。给定输入图像，NVSPolicy动态选择信息量大的视点并合成自适应新视角图像以丰富视觉上下文。为了减轻不完善的合成图像的影响，我们采用循环一致的VAE机制，将视觉特征解耦为语义特征和剩余特征。然后将这两个特征分别输入到分层策略网络中：语义特征告知高层元技能选择，剩余特征指导低层动作估计。此外，我们提出了一些实用的机制来提高所提出方法的效率。在CALVIN上的大量实验证明了我们方法的先进性能。具体来说，它在所有任务中实现了90.4%的平均成功率，大大优于最近的方法。消融研究证实了我们的自适应新视角合成范例的重要性。此外，我们在真实世界的机器人平台上评估了NVSPolicy，以证明其在实际应用中的可行性。
🔬 方法详解
问题定义：现有基于深度生成模型的机器人操作方法，虽然能够生成未见区域以增强泛化能力，但由于生成图像中存在的视觉伪影以及多模态特征融合的低效性，导致策略学习效果不佳，难以在真实环境中应用。
核心思路：NVSPolicy的核心思路是利用自适应的新视角合成来提供更丰富的视觉上下文，并通过解耦视觉特征来减轻生成图像伪影的影响。通过动态选择信息量大的视点并合成新视角图像，模型可以获得更全面的场景理解。同时，循环一致VAE机制将视觉特征解耦为语义特征和剩余特征，分别用于高层元技能选择和低层动作估计，从而提高策略学习的鲁棒性。
技术框架：NVSPolicy包含两个主要模块：自适应新视角合成模块和分层策略网络。首先，自适应新视角合成模块根据输入图像动态选择一个信息量大的视点，并合成一个自适应的新视角图像。然后，循环一致VAE将原始图像和合成图像的视觉特征解耦为语义特征和剩余特征。最后，分层策略网络利用语义特征进行高层元技能选择，并利用剩余特征指导低层动作估计。
关键创新：NVSPolicy的关键创新在于其自适应的新视角合成范例和循环一致VAE特征解耦机制。自适应新视角合成能够动态地选择最有利的视点，从而提供更丰富的视觉上下文。循环一致VAE能够有效地分离语义信息和噪声，从而提高策略学习的鲁棒性。
关键设计：在自适应新视角合成模块中，使用一个策略网络来选择最佳视点。循环一致VAE采用标准的VAE架构，并添加循环一致性损失来约束特征解耦。分层策略网络包含一个高层元技能选择模块和一个低层动作估计模块，分别使用不同的网络结构和损失函数进行训练。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
NVSPolicy在CALVIN基准测试中取得了显著的性能提升，平均成功率达到90.4%，大幅超越了现有方法。消融实验表明，自适应新视角合成和循环一致VAE特征解耦是提升性能的关键因素。此外，在真实机器人平台上的实验验证了NVSPolicy的实际应用价值。
🎯 应用场景
NVSPolicy具有广泛的应用前景，可应用于各种需要机器人操作的非结构化环境，例如家庭服务机器人、工业自动化、医疗辅助机器人等。该方法能够提高机器人在复杂环境中的泛化能力和鲁棒性，使其能够更好地适应未知的场景和任务，从而实现更智能、更高效的机器人操作。
📄 摘要（原文）
Recent advances in deep generative models demonstrate unprecedented zero-shot generalization capabilities, offering great potential for robot manipulation in unstructured environments. Given a partial observation of a scene, deep generative models could generate the unseen regions and therefore provide more context, which enhances the capability of robots to generalize across unseen environments. However, due to the visual artifacts in generated images and inefficient integration of multi-modal features in policy learning, this direction remains an open challenge. We introduce NVSPolicy, a generalizable language-conditioned policy learning method that couples an adaptive novel-view synthesis module with a hierarchical policy network. Given an input image, NVSPolicy dynamically selects an informative viewpoint and synthesizes an adaptive novel-view image to enrich the visual context. To mitigate the impact of the imperfect synthesized images, we adopt a cycle-consistent VAE mechanism that disentangles the visual features into the semantic feature and the remaining feature. The two features are then fed into the hierarchical policy network respectively: the semantic feature informs the high-level meta-skill selection, and the remaining feature guides low-level action estimation. Moreover, we propose several practical mechanisms to make the proposed method efficient. Extensive experiments on CALVIN demonstrate the state-of-the-art performance of our method. Specifically, it achieves an average success rate of 90.4\% across all tasks, greatly outperforming the recent methods. Ablation studies confirm the significance of our adaptive novel-view synthesis paradigm. In addition, we evaluate NVSPolicy on a real-world robotic platform to demonstrate its practical applicability.