GTR: Gated Token Recurrence for Efficient Dense Prediction

📄 arXiv: 2609.26590v1 📥 PDF

作者: Zhe Feng, Longfei Liu, Wei Liu, Kai Chen, Jiangjiang Kong, Wei Zhou, Yifeng Qian, Dexiong Chen, Xuanlong Yu, Xi Shen

分类: cs.CV, cs.LG

发布日期: 2026-09-22

备注: Project page is available at: https://intellindust-ai-lab.github.io/projects/GTR/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GTR以解决高分辨率密集预测的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 递归神经网络 密集预测 计算机视觉 高效注意力机制 模型蒸馏 边缘计算 深度学习

📋 核心要点

  1. 现有的自注意力机制在处理高分辨率图像时计算复杂度过高，限制了其在密集预测任务中的应用效率。
  2. 本文提出的GTR通过结合门控线性注意力和空间增强模块，设计了一种无softmax的递归结构以提高计算效率。
  3. 实验结果显示，GTR-L在COCO数据集上达到了58.9的box AP，并在高效性上显著优于传统方法，具有广泛的应用潜力。

📝 摘要（中文）

基于自注意力的视觉骨干网络在密集预测任务中表现优异，但全球softmax注意力的平方计算复杂度限制了其在高分辨率图像上的效率。本文提出了Gated Token Recurrence（GTR），一种无softmax的递归视觉骨干，结合了门控线性注意力、交替空间扫描方向和空间增强的SwiGLU块。GTR通过线性投影和平方$ ext{l}_2$损失从专注于检测的DINOv3教师模型中蒸馏而来，且无需掩码标记预测或中间层监督。在Objects365检测器预训练下，GTR-L在COCO exttt{val2017}上达到了58.9的box AP，且在RTX~4090上编译FP16执行时的中位数批处理延迟为1.908毫秒。该骨干网络还可迁移到实例分割、姿态估计、定向检测、语义分割和单目深度估计等任务。我们的专用分块CUDA操作在RTX~4090上以1.6K标记时比FLA v0.5.0快4.0倍。TensorRT在DRIVE AGX Thor上的部署在评估的模型中达到了2.282至8.769毫秒的中位数批处理延迟。这些结果表明，递归标记混合可以为高分辨率密集预测和边缘部署提供高效的替代方案。

🔬 方法详解

问题定义：本文旨在解决基于自注意力的视觉骨干网络在高分辨率图像处理中的计算效率问题。现有方法由于全球softmax注意力的平方复杂度，导致在密集预测任务中表现不佳。

核心思路：GTR通过引入门控线性注意力和交替空间扫描方向，设计了一种无softmax的递归结构，旨在降低计算复杂度并提高处理效率。

技术框架：GTR的整体架构包括门控线性注意力模块、交替空间扫描和空间增强的SwiGLU块。通过这些模块的结合，GTR能够有效地处理高分辨率图像。

关键创新：GTR的主要创新在于其无softmax的递归设计，显著降低了计算复杂度，并通过递归标记混合提供了高效的替代方案，与传统的全局softmax注意力机制形成鲜明对比。

关键设计：在模型训练中，GTR通过线性投影和平方$ ext{l}_2$损失进行蒸馏，避免了掩码标记预测和中间层监督的复杂性。此外，专用的分块CUDA操作在处理1.6K标记时表现出色，提升了计算速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GTR-L在COCO exttt{val2017}上达到了58.9的box AP，且在RTX~4090上中位数批处理延迟仅为1.908毫秒。此外，GTR的专用CUDA操作在处理1.6K标记时比FLA v0.5.0快4.0倍，展现了显著的性能提升。

🎯 应用场景

GTR的设计使其在多个计算机视觉任务中具有广泛的应用潜力，包括实例分割、姿态估计和语义分割等。其高效的计算性能使其适合在边缘设备上部署，推动了智能视觉系统的发展。

📄 摘要（原文）

Self-attention-based vision backbones perform well on dense prediction, but the quadratic computational cost of global softmax attention limits their efficiency as image resolution increases. We introduce Gated Token Recurrence (GTR), a softmax-free recurrent vision backbone that combines gated linear attention, alternating spatial scan directions, and spatially enhanced SwiGLU blocks. GTR is distilled from a detection-specialized DINOv3 teacher using only final-layer patch-token alignment through a linear projection and squared $\ell_2$ loss, without masked-token prediction or intermediate-layer supervision. With Objects365 detector pre-training, GTR-L achieves 58.9 box AP on COCO \texttt{val2017} with 1.908\,ms median batch-one latency under compiled FP16 execution on an RTX~4090. The same backbone also transfers to instance segmentation, pose estimation, oriented detection, semantic segmentation, and monocular depth estimation. In an isolated kernel benchmark, our specialized chunkwise CUDA operator is $4.0\times$ faster than FLA v0.5.0 at 1.6K tokens on RTX~4090. TensorRT deployment on DRIVE AGX Thor achieves 2.282--8.769\,ms median batch-one latency across the evaluated models. These results show that recurrent token mixing can provide an efficient alternative to global softmax attention for high-resolution dense prediction and edge deployment.Project page: https://intellindust-ai-lab.github.io/projects/GTR/