Efficient3D: A Unified Framework for Adaptive and Debiased Token Reduction in 3D MLLMs

📄 arXiv: 2604.02689 📥 PDF

作者: Yuhui Lin, Siyue Yu, Yuxing Yang, Guangliang Cheng, Jimin Xiao

分类: cs.CV, cs.AI

发布日期: 2026-04-06

💡 一句话要点

Efficient3D：用于3D MLLM中自适应和去偏Token缩减的统一框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D多模态大语言模型 Token剪枝 模型压缩 高效推理 自适应学习

📋 核心要点

  1. 3D MLLM虽然强大，但模型体积和高维特征导致推理开销巨大，限制了其在资源受限设备上的应用。
  2. Efficient3D通过引入去偏视觉Token重要性估计器（DVTIE）和自适应Token重平衡（ATR）策略，实现上下文感知的token缩减。
  3. 实验表明，Efficient3D在多个3D视觉和语言基准测试中优于未剪枝的基线，例如在Scan2Cap数据集上CIDEr提升了2.57%。

📝 摘要（中文）

多模态大型语言模型(MLLM)的最新进展已将推理能力扩展到3D领域，从而实现了细粒度的空间理解。然而，3D MLLM的庞大规模和输入特征的高维度引入了相当大的推理开销，这限制了在资源受限平台上的实际部署。为了克服这一限制，本文提出了Efficient3D，一个用于视觉token剪枝的统一框架，可以在加速3D MLLM的同时保持有竞争力的准确性。该框架引入了一个去偏视觉Token重要性估计器(DVTIE)模块，该模块考虑了浅层初始层在注意力聚合过程中的影响，从而为视觉token产生更可靠的重要性预测。此外，还开发了一种自适应Token重平衡(ATR)策略，以根据场景复杂度动态调整剪枝强度，保持语义完整性并维持跨层的平衡注意力。它们共同实现了上下文感知的token缩减，以较低的计算量保持了必要的语义。在五个具有代表性的3D视觉和语言基准测试（包括ScanRefer、Multi3DRefer、Scan2Cap、ScanQA和SQA3D）上进行的综合实验表明，与未剪枝的基线相比，Efficient3D实现了卓越的性能，在Scan2Cap数据集上CIDEr提高了+2.57%。因此，Efficient3D为3D MLLM中的高效推理提供了一个可扩展且有效的解决方案。

🔬 方法详解

问题定义：现有3D多模态大语言模型（MLLM）由于模型参数量巨大以及3D数据高维度的特性，导致推理计算成本高昂，难以在资源受限的平台上部署。现有的token剪枝方法可能无法准确评估token的重要性，导致剪枝后性能下降。

核心思路：Efficient3D的核心在于通过更准确地评估视觉token的重要性，并根据场景复杂度自适应地调整剪枝强度，从而在减少计算量的同时，尽可能地保留关键语义信息。DVTIE模块旨在解决token重要性评估的偏差问题，ATR策略则保证了剪枝的自适应性。

技术框架：Efficient3D框架主要包含两个核心模块：去偏视觉Token重要性估计器（DVTIE）和自适应Token重平衡（ATR）。DVTIE模块负责更准确地预测每个视觉token的重要性得分，该模块考虑了浅层网络的影响，从而减少了偏差。ATR策略则根据场景的复杂程度动态调整剪枝的比例，保证在复杂场景下保留更多的token，而在简单场景下进行更激进的剪枝。整体流程是：输入3D数据，通过DVTIE评估token重要性，然后利用ATR策略进行自适应剪枝，最后将剪枝后的token输入到MLLM中进行推理。

关键创新：Efficient3D的关键创新在于DVTIE模块和ATR策略的结合。DVTIE模块通过考虑浅层网络的影响，解决了传统token重要性评估方法中存在的偏差问题。ATR策略则实现了剪枝的自适应性，能够根据场景复杂度动态调整剪枝强度，从而在保证性能的同时，最大程度地减少计算量。与现有方法相比，Efficient3D能够更准确地评估token的重要性，并根据场景自适应地进行剪枝，从而在性能和效率之间取得更好的平衡。

关键设计：DVTIE模块的具体实现细节未知，但其核心思想是减轻浅层网络对token重要性评估的偏差影响。ATR策略的具体实现可能涉及到根据场景复杂度计算一个剪枝比例因子，然后根据该因子调整每个layer的剪枝阈值。损失函数的设计可能包括一个重构损失，用于保证剪枝后的token能够尽可能地保留原始信息，以及一个正则化项，用于约束剪枝的比例。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Efficient3D在五个3D视觉和语言基准测试中表现出色，尤其是在Scan2Cap数据集上，CIDEr指标提升了2.57%。这表明Efficient3D能够在保证甚至提升性能的同时，显著降低3D MLLM的计算成本，为3D MLLM的实际应用铺平了道路。具体的加速效果和参数减少量未知。

🎯 应用场景

Efficient3D具有广泛的应用前景，可用于各种需要高效3D场景理解的场景，例如移动机器人、增强现实/虚拟现实(AR/VR)、自动驾驶等。通过降低3D MLLM的计算成本，Efficient3D使得这些模型能够在资源受限的设备上运行，从而加速了3D视觉和语言技术在实际应用中的落地。

📄 摘要（原文）

Recent advances in Multimodal Large Language Models (MLLMs) have expanded reasoning capabilities into 3D domains, enabling fine-grained spatial understanding. However, the substantial size of 3D MLLMs and the high dimensionality of input features introduce considerable inference overhead, which limits practical deployment on resource constrained platforms. To overcome this limitation, this paper presents Efficient3D, a unified framework for visual token pruning that accelerates 3D MLLMs while maintaining competitive accuracy. The proposed framework introduces a Debiased Visual Token Importance Estimator (DVTIE) module, which considers the influence of shallow initial layers during attention aggregation, thereby producing more reliable importance predictions for visual tokens. In addition, an Adaptive Token Rebalancing (ATR) strategy is developed to dynamically adjust pruning strength based on scene complexity, preserving semantic completeness and maintaining balanced attention across layers. Together, they enable context-aware token reduction that maintains essential semantics with lower computation. Comprehensive experiments conducted on five representative 3D vision and language benchmarks, including ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, and SQA3D, demonstrate that Efficient3D achieves superior performance compared with unpruned baselines, with a +2.57% CIDEr improvement on the Scan2Cap dataset. Therefore, Efficient3D provides a scalable and effective solution for efficient inference in 3D MLLMs. The code is released at:this https URL