Learning Structural Latent Points for Efficient Visual Representations in Robotic Manipulation
作者: Yicheng Jiang, Jiaxu Wang, Junhao He, Zesen Gan, Junhao Li, Qiang Zhang, Jingkai Sun, Jiahang Cao, Mingyuan Sun, Xiangyu Yue, Qiming Shao
分类: cs.RO, cs.AI
发布日期: 2026-05-20
期刊: International Conference on Robotics and Automation 2026
💡 一句话要点
提出结构化隐空间点，提升机器人操作中高效视觉表征的学习能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人操作 三维表示学习 隐空间学习 点云自编码器 具身智能
📋 核心要点
- 现有3D感知方法依赖隐式神经场或显式几何图元，前者缺乏结构信息，后者受分辨率和泛化性限制。
- 论文提出结构化隐空间点，通过隐变量自编码器学习点云的结构化表示，结合隐式和显式方法的优点。
- 实验表明，该方法在机器人操作任务中，显著提升了任务成功率、样本效率和鲁棒性。
📝 摘要（中文）
本文提出了一种新颖的预训练框架，用于学习混合表示——结构化隐空间点，以解决具身感知和操作中现有3D感知预训练方法（依赖可微渲染框架，产生完全隐式的神经场或完全显式的几何图元）的局限性。该框架将点状隐变量自编码器插入到点云自编码器的隐空间中，联合正则化点状特征和坐标，使其符合高斯先验。由此产生的紧凑隐空间保留了粗略的结构趋势，不编码精确的几何形状，但捕获了更丰富的粗略形状和语义信息，有效地结合了隐式表示的表达能力和显式表示的结构先验。此外，借鉴先前工作中的共享设计选择，开发了一个精简、高效的基于3DGS的渲染流水线，该流水线特意保持轻量级，提高了效率，同时为前端隐模块留下了更大的表示能力。在RLBench、ManiSkill2和真实机器人平台上的大量评估表明，与强大的基线相比，在任务成功率、样本效率以及对视点和场景变化的鲁棒性方面均获得了持续的提升。消融研究进一步证实了框架的每个组成部分对整体性能至关重要。
🔬 方法详解
问题定义：现有基于可微渲染的3D感知预训练方法，要么是完全隐式的神经场，要么是完全显式的几何图元。隐式表示虽然表达能力强，但缺乏显式的结构线索；显式表示虽然保留了几何信息，但受到分辨率限制，并且泛化能力较弱。因此，如何结合两者的优点，学习一种既具有表达能力又具有结构信息的3D表示，是本文要解决的问题。
核心思路：本文的核心思路是学习一种混合表示——结构化隐空间点。具体来说，通过在点云自编码器的隐空间中插入一个点状隐变量自编码器，联合正则化点状特征和坐标，使其符合高斯先验。这样，学习到的隐空间既能保留粗略的结构趋势，又能捕获更丰富的粗略形状和语义信息。
技术框架：整体框架包含一个点云自编码器和一个点状隐变量自编码器。首先，点云通过点云自编码器编码到隐空间。然后，隐空间中的每个点再通过点状隐变量自编码器进一步编码到一个更紧凑的隐空间。最后，解码器根据这个紧凑的隐空间重建点云。此外，还包含一个基于3DGS的渲染流水线，用于将学习到的表示渲染成图像，用于后续的机器人操作任务。
关键创新：最重要的技术创新点在于结构化隐空间点的表示方法。与传统的隐式或显式表示相比，该方法能够同时保留结构信息和表达能力。通过联合正则化点状特征和坐标，学习到的隐空间能够更好地捕捉物体的形状和语义信息。
关键设计：点状隐变量自编码器的损失函数包括重建损失和KL散度损失。重建损失用于保证解码器能够根据隐空间重建原始点云，KL散度损失用于正则化隐空间，使其符合高斯先验。基于3DGS的渲染流水线被设计得非常轻量级，以提高效率，并将更多的表示能力留给前端的隐模块。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在RLBench、ManiSkill2和真实机器人平台上均取得了显著的性能提升。例如，在RLBench上，该方法在多个任务上的成功率超过了现有基线方法，并且具有更高的样本效率。此外，该方法还表现出对视点和场景变化的鲁棒性，能够在不同的环境下稳定地工作。消融实验验证了框架中每个组成部分的重要性。
🎯 应用场景
该研究成果可应用于机器人操作、具身智能、三维重建等领域。通过学习结构化的三维表示，机器人可以更好地理解和操作周围环境，从而完成更复杂的任务。例如，机器人可以利用该方法进行物体抓取、放置、组装等操作，或者在未知环境中进行导航和探索。该研究还有助于提升虚拟现实和增强现实的体验，使用户能够更自然地与虚拟环境进行交互。
📄 摘要（原文）
Current 3D-aware pretraining methods for embodied perception and manipulation are largely built on differentiable rendering frameworks, producing either fully implicit neural fields or fully explicit geometric primitives. Implicit representations, while expressive, lack explicit structural cues, whereas explicit ones preserve geometry but suffer from resolution limits and weak generalization. To address these limitations, we propose a novel pretraining framework that learns a hybrid representation-structural latent points. Specifically, we insert a point-wise latent variational autoencoder into the latent space of a point-cloud autoencoder, jointly regularizing point-wise features and coordinates toward a Gaussian prior. The resulting compact latent preserves coarse structural tendencies, which do not encode precise geometry but capture richer rough shape and semantic information, effectively combining the expressiveness of implicit representations with the structural priors of explicit ones. In addition, informed by shared design choices in prior work, we develop a streamlined, efficient 3DGS-based rendering pipeline that is deliberately kept lightweight, improving efficiency while leaving greater representational capacity to the front-end latent module. Extensive evaluations on RLBench, ManiSkill2, and a real-robot platform demonstrate consistent gains in task success, sample efficiency, and robustness to viewpoint and scene variations over strong baselines. Ablation studies further confirm that each component of our framework is critical to overall performance.