Hyper-RED: Scalable Event Pre-training via Semantic Hypergraph Distillation

📄 arXiv: 2609.16811v1 📥 PDF

作者: Meisen Wang, Zhiqiang Tian, Wei Bao, Chengjie Wang, Shaoyi Du, Siqi Li

分类: cs.CV

发布日期: 2026-09-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出Hyper-RED以解决事件表示学习中的数据稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 事件相机 图像到事件 超图模型 语义蒸馏 跨模态学习 视觉感知 深度学习

📋 核心要点

  1. 现有的图像到事件方法在模态对齐上存在不足，导致语义信息的丢失和迁移能力的下降。
  2. Hyper-RED通过超图模型对齐高阶语义结构，克服了模态间的差异，提供了一种灵活的知识转移方式。
  3. 在五个事件数据集上的实验结果显示，Hyper-RED在从ViT-S到ViT-L的扩展中实现了最先进的性能。

📝 摘要（中文）

事件相机在稳健视觉感知方面展现出巨大潜力，但由于缺乏大规模标注事件数据，事件表示学习的扩展性仍然面临挑战。现有的图像到事件方法依赖于严格的像素或标记对齐，忽视了纹理、密度和外观等模态差异，可能导致语义崩溃并限制可迁移性。为了解决这一问题，本文提出了Hyper-RED，一个简单、无痛且可扩展的图像到事件预训练框架，能够将高阶语义结构从图像转移到事件。Hyper-RED利用超图模型来对齐多图像和事件标记之间的高阶语义关联，从而实现跨模态知识转移，同时适应模态特定差异，而不是强制执行严格的一对一对应。实验结果表明，Hyper-RED在多个任务和数据集上均表现出色。

🔬 方法详解

问题定义：本文旨在解决事件表示学习中的数据稀缺问题，现有方法在模态对齐上存在局限，导致语义信息的丢失和迁移能力的下降。

核心思路：Hyper-RED通过超图模型来对齐多图像和事件标记之间的高阶语义关联，允许跨模态知识转移，同时适应模态特定差异，避免了严格的一对一对应。

技术框架：Hyper-RED的整体架构包括三个主要模块：图像标记表示提取、事件标记表示构建和超图语义对齐。首先，使用DINOv3提取图像的空间标记表示，然后构建图像、事件和跨模态的超图，最后进行语义对齐。

关键创新：Hyper-RED的主要创新在于引入超图模型来表示和对齐高阶语义结构，这与传统的像素或标记对齐方法有本质区别，能够更好地处理模态间的差异。

关键设计：在损失函数设计上，本文引入了超图关系蒸馏损失，施加了互补的模态内和跨模态约束，确保事件编码器能够继承图像派生的语义组织，同时保持局部关系一致性和事件特有特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个事件数据集上的实验结果表明，Hyper-RED在从ViT-S到ViT-L的扩展中实现了最先进的性能，具体提升幅度未明确说明，但相较于基线方法表现出显著的优势。

🎯 应用场景

该研究在机器人视觉、自动驾驶、增强现实等领域具有广泛的应用潜力。通过改进事件表示学习，Hyper-RED能够提升系统在动态环境中的感知能力，进而推动相关技术的发展与应用。

📄 摘要（原文）

Event cameras have shown great potential for robust visual perception, yet scaling event representation learning remains challenging due to the scarcity of large-scale annotated event data. Pretrained image models provide scalable semantic supervision, but existing image-to-event methods rely on rigid pixel-wise or token-wise alignment that overlooks modality discrepancies in texture, density, and appearance, potentially causing semantic collapse and limiting transferability. To address this issue, we propose Hyper-RED, a simple, painless, and scalable image-to-event pretraining framework that transfers high-order semantic structures from images to events. Hyper-RED uses hypergraphs to model and align high-order semantic associations among multiple image and event tokens, enabling cross-modal knowledge transfer while accommodating modality-specific differences rather than enforcing rigid one-to-one correspondence. Specifically, given a paired event--image sample, Hyper-RED leverages DINOv3 to extract spatial token representations and constructs image, event, and cross-modal semantic hypergraphs, where each hyperedge connects multiple semantically correlated tokens. We further introduce a hypergraph relational distillation loss that imposes complementary intra- and cross-modal constraints, enabling the event encoder to inherit image-derived semantic organization while preserving local relational consistency and event-specific characteristics. Experiments on three tasks across five event datasets demonstrate consistent scaling from ViT-S to ViT-L and state-of-the-art performance (Fig.1). The code is available at: https://github.com/meisenwang/Hyper--RED.