Octrees as an Explicit 3D Language

📄 arXiv: 2610.02388v1 📥 PDF

作者: Ran Dan, Si-Tong Wei, Pengfei Xiong, Wei Zhang, Yadong Mu, Peng-Shuai Wang

分类: cs.CV

发布日期: 2026-10-01

备注: Project Page: https://plurato.github.io/OctLLM-page/ Code: https://github.com/octree-nn/octllm

💡 一句话要点

提出OctLLM以解决现有3D语言模型的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D语言模型 稀疏八叉树 多模态学习 计算机视觉 机器人技术 虚拟现实

📋 核心要点

  1. 现有3D语言模型在空间结构保留和模态引入上存在显著不足，影响了模型的性能和通用性。
  2. OctLLM通过引入稀疏八叉树（S-Octree）和独立的3D参数分支，解决了现有方法的局限性，保持了语言能力。
  3. 实验结果显示，OctLLM在图像到3D的FID上降低了17.4%，在渲染基础的描述生成上提高了28.7分，超越了ShapeLLM-Omni。

📝 摘要（中文）

现有的3D大型语言模型（LLMs）在两个方面存在妥协：一是将形状压缩为潜在代码索引或坐标文本，导致模型观察到的空间结构丧失；二是通过微调主干网络来获取3D模态，覆盖了其通用语言能力。本文提出的OctLLM通过显式的3D八叉树占用标记序列来解决这两个问题。OctLLM随机清空倒数第二层节点并省略后代，从而生成更短的稀疏八叉树（S-Octree），用于位置感知的掩膜建模生成和3D理解。此外，OctLLM在参数上独立于预训练参数增加3D能力，避免了全微调的高成本和LoRA的限制，且在统一多模态LLMs中设定了新的性能基准。

🔬 方法详解

问题定义：现有的3D大型语言模型在处理空间结构时，往往将形状压缩为潜在代码或文本，导致信息丢失。同时，微调主干网络的方式又会覆盖其原有的语言能力，造成性能下降。

核心思路：OctLLM通过引入显式的八叉树占用标记序列，解决了空间结构丢失的问题。同时，采用独立的3D参数分支，避免了全微调带来的高成本和对语言路径的影响。

技术框架：OctLLM的整体架构包括稀疏八叉树生成模块、独立的3D参数分支和共享自注意力机制。稀疏八叉树用于表示3D几何信息，而文本和图像标记则通过冻结的视觉-语言路径进行处理。

关键创新：OctLLM的主要创新在于使用稀疏八叉树（S-Octree）来表示3D信息，并通过独立的可训练分支增加3D能力，这与现有方法的全微调或LoRA方式有本质区别。

关键设计：在参数设置上，OctLLM通过随机清空倒数第二层节点来生成稀疏八叉树，保持形状信息的同时减少计算量。损失函数和网络结构设计上，采用共享自注意力机制以实现文本、图像和3D信息的有效交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OctLLM在实验中表现出色，图像到3D的FID降低了17.4%，渲染基础的描述生成提高了28.7分，超越了ShapeLLM-Omni，同时在通用语言基准上与主干网络表现相当，展示了其在多模态学习中的优越性。

🎯 应用场景

OctLLM在计算机视觉、机器人和虚拟现实等领域具有广泛的应用潜力。其显式的3D表示方式和高效的多模态交互能力，可以提升3D场景理解、自动化建模和人机交互的效果，推动相关技术的发展。

📄 摘要（原文）

Existing 3D large language models (LLMs) compromise on two fronts: they compress shapes into latent codebook indices or coordinate text, which removes spatial structure from what the model observes, and they acquire the 3D modality by fine-tuning the backbone, which overwrites its general language ability. We present OctLLM, which addresses both limitations. Geometry enters as an explicit 3D sequence of octree occupancy tokens. However, full octree sequences grow rapidly with depth; OctLLM therefore randomly empties penultimate-level nodes and omits descendants while preserving shape, yielding a shorter coordinate- and depth-anchored Sparse Octree (S-Octree) for position-aware mask-modeling generation and 3D understanding. On the other front, existing methods introduce a new modality with full fine-tuning or LoRA, but full fine-tuning is costly, LoRA limits 3D capacity, and both modify the language pathway. OctLLM instead adds 3D capacity in parameters separate from the pretrained ones: mesh tokens are routed through independent trainable branches in a subset of blocks while text and image tokens retain the frozen vision-language pathway, and the two streams interact through shared self-attention. It trains far fewer parameters than full fine-tuning, yet sets a new state of the art among unified multimodal LLMs, lowering image-to-3D FID by $17.4\%$ and raising render-grounded captioning by $28.7$ points over ShapeLLM-Omni, while matching the backbone on general language benchmarks.