HiPerViT: A Hierarchical Perceiver-Vision Transformer Architecture for Multi-Scale Texture Recognition

📄 arXiv: 2609.10917v1 📥 PDF

作者: João Pedro C. A. de Sá, Odemir Martinez Bruno

分类: cs.CV

发布日期: 2026-09-10

备注: 30 pages, 4 figures, 12 tables

💡 一句话要点

提出HiPerViT以解决多尺度纹理识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 纹理识别 视觉变换器 二阶统计 深度学习 图像处理 机器学习

📋 核心要点

  1. 现有视觉模型在纹理识别中面临挑战，主要由于缺乏对高阶空间统计信息的有效利用。
  2. HiPerViT通过引入显式的二阶统计先验，结合全局和局部视图，增强了纹理敏感性。
  3. 在六个纹理识别基准上，HiPerViT相较于强基线模型实现了显著的性能提升，尤其在DTD和GTOS-Mobile上表现突出。

📝 摘要（中文）

纹理识别对于现代视觉模型仍然具有挑战性，因为判别性证据通常由高阶空间统计信息而非仅由物体形状提供。尽管视觉变换器具备强大的长程建模能力，但其标准的以物体为中心的表示并未明确暴露这种统计结构，限制了在细粒度识别场景中的纹理敏感性。本文提出了HiPerViT，这是一种紧凑的视觉架构，通过将显式的二阶统计先验注入到基于变换器的识别管道中，来解决这一问题。该方法结合了全局和局部图像视图，并通过Perceiver风格的潜在蒸馏集成了一个紧凑的双线性描述符，提供了对纹理相关信息的直接访问。实验结果表明，HiPerViT在六个纹理识别基准上均实现了显著提升。

🔬 方法详解

问题定义：本文旨在解决现代视觉模型在纹理识别中对高阶空间统计信息利用不足的问题。现有方法通常依赖于物体形状，导致在细粒度识别中表现不佳。

核心思路：HiPerViT通过将二阶统计信息作为显式的表示信号引入到变换器架构中，增强了模型对纹理的敏感性。这种设计使得模型能够直接访问与纹理相关的信息。

技术框架：HiPerViT的整体架构结合了全局和局部图像视图，使用紧凑的双线性描述符作为统计标记，并通过Perceiver风格的潜在蒸馏将其与一阶空间表示整合。

关键创新：HiPerViT的主要创新在于显式的统计标记化设计，使得二阶统计信息成为模型的核心表示信号。这一方法与传统的以物体为中心的表示方法本质上不同。

关键设计：在网络结构上，HiPerViT采用了紧凑的双线性描述符，并通过潜在蒸馏技术实现一阶和二阶特征的有效融合。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个纹理识别基准上，HiPerViT相较于强基线模型实现了显著提升，包括在DTD上提高了3.05个百分点，在GTOS-Mobile上提高了10.48个百分点，以及在1200Tex上提高了10.10个百分点。这些结果表明，模型的改进主要源于显式的二阶统计信息的有效利用。

🎯 应用场景

HiPerViT的研究成果在纹理识别领域具有广泛的应用潜力，尤其是在细粒度视觉任务中，如材料识别、纹理分类和图像检索等。通过提升模型对纹理的敏感性，该方法能够在工业、医疗和自动驾驶等多个领域提供更为精准的视觉识别能力，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

Texture recognition remains challenging for modern vision models because discriminative evidence is often carried by higher-order spatial statistics rather than by object shape alone. While Vision Transformers provide strong long-range modeling capacity, their standard object-centric representations do not explicitly expose such statistical structure, which limits texture sensitivity in fine-grained recognition settings. We present HiPerViT, a compact vision-only architecture that injects an explicit second-order statistical prior into a transformer-based recognition pipeline. The method combines global and local image views with a compact bilinear descriptor encoded as a statistical token, and integrates this token with first-order spatial representations through Perceiver-style latent distillation. This design enables direct interaction between spatial tokens and second-order feature co-occurrence statistics, providing the model with explicit access to texture-relevant information without requiring multimodal pretraining or ensemble construction. Across six texture recognition benchmarks, HiPerViT achieves consistent improvements over strong vision-only baselines under the reported evaluation protocols, including gains of +3.05 percentage points on DTD, +10.48 on GTOS-Mobile, and +10.10 on 1200Tex. Beyond benchmark performance, our analyses show that these gains are largely invariant to the backbone depth used to extract second-order statistics and to the ordering of interaction and distillation stages. This pattern suggests that the primary source of improvement is not a specific fusion topology, but the explicit availability of second-order statistical information as a first-class representational signal. These results support explicit statistical tokenization as an effective and robust design principle for texture-centric visual recognition.