QCLR: A Plug-in Robustification Module via Quantization for Contrastive Learning in Self-Supervised Skeleton-Based Human Action Recognition

📄 arXiv: 2610.13281v1 📥 PDF

作者: Nanzhu Chen, Feixiang He, Yunfeng Diao, Duygu Sarikaya, He Wang

分类: cs.CV

发布日期: 2026-10-09

备注: Accepted to ACCV 2026

💡 一句话要点

提出QCLR以增强自监督骨架人类动作识别的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 骨架动作识别 自监督学习 对比学习 对抗攻击 量化技术 鲁棒性增强 注意力机制

📋 核心要点

  1. 现有自监督对比学习方法在骨架人类动作识别中易受对抗攻击影响，鲁棒性不足。
  2. 提出的QCLR模块通过双层量化方案增强表示的鲁棒性，吸收小扰动并保持表示能力。
  3. 实验结果显示，QCLR显著提升了主流对比学习模型在对抗攻击下的鲁棒性，同时保持高分类准确率。

📝 摘要（中文）

基于骨架的人类动作识别因其在多种环境中的稳定性和运动捕捉技术的进步而受到越来越多的关注。尽管自监督学习，尤其是对比学习方法取得了显著的性能，但仍然容易受到对抗攻击的影响。本文提出了一种通过量化增强对比学习鲁棒性的插件模块QCLR，旨在提高表示的鲁棒性，同时保持其表示能力。具体而言，我们在编码管道中采用双层量化方案，打破梯度传播并吸收量化箱内的小对抗扰动。为了减轻不可避免的量化误差影响，我们进一步设计了一种基于注意力的多面量化策略，以保持表示质量。实验结果表明，将QCLR集成到主流对比学习模型中，显著提高了对梯度基础的白盒和无梯度的黑盒对抗攻击的鲁棒性，同时保持了竞争力的分类准确性。

🔬 方法详解

问题定义：本文旨在解决自监督骨架人类动作识别中对抗攻击导致的鲁棒性不足问题。现有对比学习方法在面对对抗样本时表现脆弱，影响了其实际应用。

核心思路：提出的QCLR模块通过量化技术增强模型对对抗扰动的抵抗力，设计双层量化方案以打破梯度传播，吸收小的对抗扰动，从而提升鲁棒性。

技术框架：QCLR的整体架构包括数据编码、双层量化和注意力引导的多面量化策略。首先对输入数据进行编码，然后通过双层量化处理，最后应用注意力机制优化量化过程，确保表示质量。

关键创新：QCLR的核心创新在于引入双层量化方案与注意力引导的多面量化策略，显著区别于传统对比学习方法，能够有效抵抗对抗攻击并保持高质量的表示。

关键设计：在设计中，量化参数的选择和损失函数的设置至关重要，确保量化误差对模型性能的影响最小化，同时优化网络结构以适应新的量化策略。具体的损失函数设计和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，集成QCLR的模型在多个基准数据集上对比基线模型的鲁棒性显著提高，尤其在面对白盒和黑盒对抗攻击时，分类准确率保持在竞争水平，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实和人机交互等场景，能够在复杂环境中实现更为稳定和安全的人类动作识别。未来，QCLR模块有望进一步推动自监督学习在实际应用中的广泛采用，提升系统的鲁棒性和可靠性。

📄 摘要（原文）

Skeleton-based human action recognition has gained increasing attention due to the stability of skeleton data across diverse environments and advances in motion capture technologies. Following the success of supervised learning approaches, self-supervised learning approaches, particularly contrastive learning ones, have achieved impressive performance. However, they remain vulnerable to adversarial attacks. In this work, we propose a plug-in robustification module via quantization for contrastive learning in self-supervised skeleton-based human action recognition (QCLR), which enhances the robustness of representations against adversarial attacks while preserving their representational capability. Specifically, we employ a dual-level quantization scheme across the encoding pipeline, which breaks the gradient propagation and absorbs small adversarial perturbations within the quantization bins. To mitigate the impact of inevitable quantization error, we further design an attention-guided multi-faceted quantization strategy to maintain the representation quality. Experiments on several benchmark datasets demonstrate that integrating QCLR into a progressive lineage of mainstream contrastive learning models substantially improves robustness against both gradient-based white-box and gradient-free black-box adversarial attacks, while preserving highly competitive classification accuracy.