Isotropic Embedding Perturbations for Robust Vision Language Encoders
作者: Hyesong Choi, Daeun Kim, Song Park, Taekyung Kim, Byeongho Heo, Sangdoo Yun, Dongbo Min, Dongyoon Han
分类: cs.CV
发布日期: 2026-09-09
备注: ECCV 2026
💡 一句话要点
提出Aether方法以解决多模态模型数据增强不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据增强 多模态学习 视觉-语言模型 正则化方法 嵌入空间 鲁棒性提升 特征对齐
📋 核心要点
- 现有数据增强方法在性能上趋于饱和，且像素级操作可能干扰跨模态对齐。
- 提出Aether方法，通过在嵌入空间中进行扩散式随机扰动，实现各向同性正则化。
- Aether在多种模型和任务中均表现出显著提升，尤其在多模态对齐方面效果突出。
📝 摘要（中文）
数据增强是训练现代深度视觉和多模态模型的基础。现有方法如RandAug、CutMix等在性能上已趋于饱和，且过于激进的像素级操作可能会破坏跨模态对齐。为此，本文提出Aether，一种在嵌入空间中应用扩散式随机扰动的简单插件方法，旨在提供保持语义一致的各向同性正则化。Aether通过轻微有效的扰动平滑表示，确保强视觉-语言编码器所需的细粒度结构信息不受损害。实验表明，Aether在多种架构和识别任务中均优于传统数据增强方法，尤其在多模态对齐方面表现出色。
🔬 方法详解
问题定义：现有的数据增强方法在视觉和语言模型中表现出性能饱和，且激进的像素级操作可能破坏跨模态的对齐，导致模型性能下降。
核心思路：本文提出Aether方法，通过在嵌入空间中应用扩散式随机扰动，提供一种新的正则化方式，旨在保持语义一致性并平滑表示。
技术框架：Aether的整体架构包括嵌入空间的扰动模块和控制混合参数的设置，通过调节扰动强度实现各向同性的正则化效果。
关键创新：Aether的主要创新在于其在嵌入空间中进行的扰动方法，与传统的像素空间增强方法相比，能够更好地保持高维特征空间的完整性。
关键设计：Aether的设计包括控制扰动强度的参数设置，以及确保扰动不损害细粒度结构信息的损失函数设计，确保模型在多模态任务中的表现。
🖼️ 关键图片
📊 实验亮点
在多种架构和识别任务中，Aether方法相较于传统数据增强方法如CutMix、Mixup等，表现出显著的性能提升，尤其在多模态对齐方面，提供了稳定的各向同性正则化信号，提升幅度在多个任务中均超过了5%。
🎯 应用场景
Aether方法具有广泛的应用潜力，特别是在需要强大视觉-语言对齐的任务中，如图像描述生成、视觉问答和多模态检索等领域。其创新的正则化方式有助于提升模型的鲁棒性和泛化能力，推动多模态学习的发展。
📄 摘要（原文）
Data augmentation is fundamental to training modern deep vision and multimodal models. While individual methods, such as RandAug, CutMix, Mixup, RandErase, and DropPath, offer strong regularization effects, their combined use has saturated in performance due to overlapping functionalities, and aggressive pixel-level manipulations may disrupt delicate cross-modal alignment. This saturation motivates the search for a new augmentation axis within the embedding space rather than the input space. We introduce Aether, a simple plug-in method that applies diffusion-style random perturbations in the embedding space via controlled alpha-mixing, specifically designed to provide isotropic regularization that remains semantically consistent. Inspired by feature-space perturbations in language models and image degradation in generative pretraining, Aether induces mild yet effective perturbations that smooth the representations without compromising the fine-grained structural information required for strong vision-language encoders. Across diverse architectures and across multiple recognition tasks, Aether delivers consistent gains over the advanced recipe combining CutMix, Mixup, DropPath, and RandAug---a level of improvement rarely observed with modern augmentation alternatives. Notably, Aether demonstrates superior effectiveness in multi-modal alignment, succeeding where traditional pixel-space augmentations fail by providing a stable, isotropic regularization signal that respects the integrity of the high-dimensional feature space.