Volume Transformer: Revisiting Vanilla Transformers for 3D Scene Understanding

📄 arXiv: 2604.19609v1 📥 PDF

作者: Kadir Yilmaz, Adrian Kruse, Tristan Höfer, Daan de Geus, Bastian Leibe

分类: cs.CV

发布日期: 2026-04-21

备注: Project page: https://vision.rwth-aachen.de/Volt

💡 一句话要点

提出Volume Transformer (Volt)，用于提升3D场景理解的通用性和可扩展性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景理解 Transformer 体积Transformer 语义分割 实例分割 数据增强 知识蒸馏

📋 核心要点

  1. 现有3D场景理解方法依赖于特定领域先验的骨干网络，限制了Transformer生态系统的优势。
  2. 提出Volume Transformer (Volt)，通过体积patch tokens和全局自注意力，将vanilla Transformer应用于3D场景。
  3. 通过数据增强、正则化和知识蒸馏等策略，Volt在多个数据集上取得了state-of-the-art的结果。

📝 摘要（中文）

Transformer已成为深度学习的通用基础，但3D场景理解仍然依赖于具有强领域先验的专用骨干网络。这使得该领域与更广泛的Transformer生态系统隔离，限制了新进展的转移以及日益优化的软硬件堆栈的优势。为了弥合这一差距，我们以最小的修改将vanilla Transformer编码器适配到3D场景。给定一个输入3D场景，我们将其划分为体积patch tokens，通过全局自注意力处理它们，并通过旋转位置嵌入的3D扩展注入位置信息。我们将得到的模型称为Volume Transformer (Volt)，并将其应用于3D语义分割。在标准3D基准上直接训练Volt会导致shortcut learning，突显了当前3D监督的有限规模。为了克服这一点，我们引入了一种基于强3D增强、正则化和卷积教师模型蒸馏的数据高效训练方法，使Volt与最先进的方法具有竞争力。然后，我们通过在多个数据集上进行联合训练来扩展监督，并表明Volt比特定领域的3D骨干网络更能从增加的规模中受益，从而在室内和室外数据集上实现了最先进的结果。最后，当用作标准3D实例分割管道中的即插即用骨干网络时，Volt再次创造了新的最先进水平，突显了其作为3D场景理解的简单、可扩展、通用骨干网络的潜力。

🔬 方法详解

问题定义：现有3D场景理解方法依赖于具有强领域先验的专用骨干网络，这限制了它们与更广泛的Transformer生态系统的融合，阻碍了新技术的应用和软硬件优化的利用。现有的3D监督数据规模有限，直接训练Transformer容易导致shortcut learning，泛化能力不足。

核心思路：论文的核心思路是将vanilla Transformer编码器适配到3D场景理解任务中，并设计有效的数据增强和训练策略，以克服数据规模有限和shortcut learning的问题。通过将3D场景划分为体积patch tokens，并利用全局自注意力机制，Volt能够捕捉场景中的长程依赖关系。

技术框架：Volt的整体架构包括以下几个主要步骤：1) 将3D场景划分为体积patch tokens；2) 使用线性层将patch tokens嵌入到高维空间；3) 通过多层Transformer编码器处理嵌入的tokens，每一层包含自注意力机制和前馈网络；4) 使用旋转位置嵌入的3D扩展注入位置信息；5) 最后，使用解码器将tokens映射回3D空间，进行语义分割或实例分割等任务。

关键创新：论文的关键创新在于：1) 将vanilla Transformer成功应用于3D场景理解，减少了对特定领域先验的依赖；2) 提出了基于强3D增强、正则化和知识蒸馏的数据高效训练方法，克服了数据规模有限的问题；3) 通过联合训练多个数据集，提高了模型的泛化能力。

关键设计：在关键设计方面，论文采用了以下策略：1) 使用体积patch tokens作为输入，而不是点云或体素，以减少计算量；2) 使用旋转位置嵌入的3D扩展，为tokens注入位置信息；3) 使用Mix3D、CutMix3D等强3D数据增强方法，提高模型的鲁棒性；4) 使用权重衰减、dropout等正则化方法，防止过拟合；5) 使用卷积神经网络作为教师模型，通过知识蒸馏提高模型的性能。

📊 实验亮点

Volt在多个3D语义分割和实例分割基准测试中取得了state-of-the-art的结果。例如，在ScanNet数据集上，Volt的语义分割性能超过了现有方法，并在S3DIS数据集上也取得了显著的提升。此外，Volt在多个数据集上进行联合训练时，性能提升更加明显，表明其具有良好的可扩展性。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、室内场景理解、三维重建等领域。Volt作为一种通用的3D场景理解骨干网络，可以促进相关领域的发展，并加速3D视觉技术的落地应用。未来，可以进一步探索Volt在其他3D任务中的应用，例如3D目标检测、3D姿态估计等。

📄 摘要（原文）

Transformers have become a common foundation across deep learning, yet 3D scene understanding still relies on specialized backbones with strong domain priors. This keeps the field isolated from the broader Transformer ecosystem, limiting the transfer of new advances as well as the benefits of increasingly optimized software and hardware stacks. To bridge this gap, we adapt the vanilla Transformer encoder to 3D scenes with minimal modifications. Given an input 3D scene, we partition it into volumetric patch tokens, process them with full global self-attention, and inject positional information via a 3D extension of rotary positional embeddings. We call the resulting model the Volume Transformer (Volt) and apply it to 3D semantic segmentation. Naively training Volt on standard 3D benchmarks leads to shortcut learning, highlighting the limited scale of current 3D supervision. To overcome this, we introduce a data-efficient training recipe based on strong 3D augmentations, regularization, and distillation from a convolutional teacher, making Volt competitive with state-of-the-art methods. We then scale supervision through joint training on multiple datasets and show that Volt benefits more from increased scale than domain-specific 3D backbones, achieving state-of-the-art results across indoor and outdoor datasets. Finally, when used as a drop-in backbone in a standard 3D instance segmentation pipeline, Volt again sets a new state of the art, highlighting its potential as a simple, scalable, general-purpose backbone for 3D scene understanding.