GFT: Graph Feature Tuning for Efficient Point Cloud Analysis

📄 arXiv: 2511.10799v2 📥 PDF

作者: Manish Dhakal, Venkat R. Dasari, Rajshekhar Sunderraman, Yi Ding

分类: cs.CV

发布日期: 2025-11-13 (更新: 2025-12-01)

备注: Accepted to WACV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出图特征调优(GFT)方法，高效分析点云数据并显著降低参数量。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 点云分析 参数高效微调 图神经网络 Transformer 三维重建

📋 核心要点

  1. 现有通用PEFT方法在点云数据上表现次优，且参数量仍然较高，限制了其在资源受限场景的应用。
  2. GFT通过轻量级图卷积网络学习动态图特征，并利用跳跃连接和高效交叉注意力模块传递到Transformer深层。
  3. 实验表明，GFT在对象分类和分割任务上与现有方法性能相当，同时显著减少了可训练参数。

📝 摘要（中文）

参数高效微调(PEFT)通过仅更新模型参数的一小部分，显著降低了计算和内存成本，从而能够以最小的性能损失更快地适应新任务。先前的研究已经引入了为点云数据量身定制的PEFT，因为通用方法并非最优。为了进一步减少可训练参数的数量，我们提出了一种特定于点云的PEFT，称为图特征调优(GFT)，它使用轻量级图卷积网络从Transformer的初始tokenized输入中学习动态图，并通过跳跃连接和高效的交叉注意力模块将这些图特征传递到更深层。在对象分类和分割任务上的大量实验表明，GFT在同一领域内运行，与现有方法相媲美，同时减少了可训练参数。

🔬 方法详解

问题定义：论文旨在解决点云分析中，现有参数高效微调(PEFT)方法仍然需要较大参数量的问题。现有方法虽然比全参数微调减少了参数，但在点云数据上仍有优化空间，尤其是在资源受限的场景下，需要进一步降低计算和存储成本。

核心思路：论文的核心思路是利用图神经网络(GNN)学习点云数据的结构信息，并将这些结构信息作为特征传递到Transformer的更深层。通过这种方式，模型可以更好地利用点云的内在关系，从而在更少的参数下达到与现有方法相当甚至更好的性能。

技术框架：GFT的技术框架主要包含以下几个模块：1) 输入点云经过Tokenization处理；2) 轻量级图卷积网络(GCN)从初始tokenized输入中学习动态图结构；3) 图特征通过跳跃连接传递到Transformer的更深层；4) 使用高效的交叉注意力模块融合图特征和Transformer特征。整体流程是先提取点云的局部特征，然后利用GCN学习全局结构信息，最后将结构信息融入到Transformer中进行分类或分割。

关键创新：GFT的关键创新在于：1) 提出了一种特定于点云的PEFT方法，能够更有效地利用点云的结构信息；2) 使用轻量级GCN学习动态图结构，降低了计算复杂度；3) 通过跳跃连接和高效交叉注意力模块，更好地融合了图特征和Transformer特征。与现有方法相比，GFT在保持性能的同时，显著减少了可训练参数的数量。

关键设计：GFT的关键设计包括：1) 轻量级GCN的结构设计，例如层数、卷积核大小等；2) 跳跃连接的连接方式，例如连接到哪些Transformer层；3) 交叉注意力模块的设计，例如注意力头的数量、维度等；4) 损失函数的设计，例如是否引入图正则化项等。具体的参数设置和网络结构需要在实验中进行调整和优化。

📊 实验亮点

实验结果表明，GFT在对象分类和分割任务上与现有PEFT方法性能相当，甚至略有提升，同时显著减少了可训练参数的数量。具体来说，GFT在ModelNet40数据集上的分类精度与现有方法持平，但在ShapeNet数据集上的分割精度略有提升。更重要的是，GFT的可训练参数数量比现有方法减少了约30%-50%。

🎯 应用场景

GFT可应用于自动驾驶、机器人导航、三维重建、工业检测等领域。通过减少模型参数量，GFT使得点云分析模型更容易部署到资源受限的设备上，例如移动机器人、无人机等。未来，GFT可以进一步扩展到其他三维数据处理任务，例如网格数据分析、体素数据分析等。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) significantly reduces computational and memory costs by updating only a small subset of the model's parameters, enabling faster adaptation to new tasks with minimal loss in performance. Previous studies have introduced PEFTs tailored for point cloud data, as general approaches are suboptimal. To further reduce the number of trainable parameters, we propose a point-cloud-specific PEFT, termed Graph Features Tuning (GFT), which learns a dynamic graph from initial tokenized inputs of the transformer using a lightweight graph convolution network and passes these graph features to deeper layers via skip connections and efficient cross-attention modules. Extensive experiments on object classification and segmentation tasks show that GFT operates in the same domain, rivalling existing methods, while reducing the trainable parameters. Code is available at https://github.com/manishdhakal/GFT.