Not All Patches are Equal: Sampling Matters for Visible-Infrared Pre-Training
作者: Qiwei Ma, Bin Deng, Junjie Zhu, Qiangjuan Huang, Puhong Duan, Ke Yang, Xudong Kang, Shutao Li
分类: cs.CV
发布日期: 2026-07-22
备注: 13 pages, 11 figures,
🔗 代码/项目: GITHUB
💡 一句话要点
提出重要性感知采样以解决可见-红外对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 可见-红外对齐 重要性感知采样 补丁对比学习 多模态感知 深度学习
📋 核心要点
- 现有的均匀补丁对比学习方法在VIS-IR数据中效果不佳，因成像物理差异导致某些区域的可比性较低。
- 本文提出重要性感知采样（IAS），根据补丁的可靠性调整训练重点，从而提高对齐效果。
- 在多个VIS-IR基准上进行的实验表明，IAS在红外语义分割、物体检测和跨模态检索任务中均有显著提升。
📝 摘要（中文）
可见-红外（VIS-IR）对齐是多传感器感知中的关键预训练任务。现有方法采用均匀的补丁对比学习，但由于成像物理差异，某些空间配对区域的可比性较低，导致对齐效果不佳。本文从采样角度重新审视VIS-IR预训练，提出重要性感知采样（IAS），根据补丁可靠性调整训练重点。IAS通过红外结构线索推导补丁权重，并利用轻量级采样器学习软重要性掩码，采用补丁课程学习策略，从高可靠区域逐步扩展到困难补丁。实验表明，IAS在多个VIS-IR基准上相较于强基线有一致性提升。
🔬 方法详解
问题定义：本文解决的是可见-红外对齐中的补丁对比学习不可靠的问题。现有方法未能考虑成像物理差异，导致某些区域的对齐效果较差。
核心思路：提出重要性感知采样（IAS），通过根据补丁的可靠性调整训练重点，旨在提高对齐的有效性和下游任务的表现。
技术框架：IAS的整体架构包括三个主要模块：首先，从红外结构线索中推导补丁权重；其次，使用轻量级采样器学习软重要性掩码；最后，采用补丁课程学习策略，逐步从高可靠区域扩展到困难补丁。
关键创新：IAS的核心创新在于根据补丁的可靠性动态调整对比损失的权重，这与现有方法的均匀对齐方式形成鲜明对比，显著提升了表示学习的效果。
关键设计：在技术细节上，IAS使用了轻量级的网络结构和损失函数设计，能够有效地进行补丁权重的计算和重要性掩码的学习，同时支持与现有的对比学习基线兼容。
🖼️ 关键图片
📊 实验亮点
在多个VIS-IR基准上，IAS相较于强基线方法在红外语义分割和物体检测任务中均实现了显著的性能提升，具体提升幅度达到X%（具体数据待补充），验证了其有效性和实用性。
🎯 应用场景
该研究在多传感器感知领域具有广泛的应用潜力，尤其是在自动驾驶、监控和遥感等场景中。通过提高可见-红外对齐的效果，能够增强系统对复杂环境的理解和适应能力，提升智能系统的整体性能。
📄 摘要（原文）
Visible-infrared (VIS-IR) alignment is a key pre-training task for robust multi-sensor perception. Most existing methods use uniform patch-wise contrastive learning, but this can be unreliable in VIS-IR data because imaging-physics differences make some spatially paired regions inherently less comparable, and aligning them with equal strength hinders representation learning and downstream transfer. In this paper, we revisit VIS-IR pre-training from a sampling perspective and propose Importance-Aware Sampling (IAS), which adjusts training emphasis based on patch reliability. Specifically, IAS (i) derives patch weights from infrared structural cues and uses them to reweight the contrastive objective; (ii) learns a soft importance mask with a lightweight sampler, optionally warm-started from the hand-crafted prior; and (iii) employs a patch curriculum learning strategy that gradually expands from high-reliability regions to harder patches. It is worth noting that IAS is plug-and-play and works with both patch-/correlation-level alignment (e.g., UNIV-style) and image-level contrastive baselines (e.g., ImageBind-style). Extensive experiments on multiple VIS-IR benchmarks demonstrate consistent improvements over strong baselines, including for IR semantic segmentation, IR object detection and VIS semantic segmentation and cross-modal retrieval task. Code will be released on https://github.com/KlayMa527/IAS.