The Domain Is a Residue: Adapting Self-Supervised Features, Not Generators

📄 arXiv: 2609.37330v1 📥 PDF

作者: Thomas Deixelberger, Markus Steinberger

分类: cs.CV, cs.GR, cs.LG

发布日期: 2026-09-29

备注: 9 pages main text, 28 pages including appendix. 12 figures, 13 tables

💡 一句话要点

提出Representation Feature Adapter以解决图像天气效果去除问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 图像处理 天气效果去除 自监督学习 深度学习 计算机视觉

📋 核心要点

  1. 现有的无配对翻译器在去除天气效果时，往往无法有效保留场景结构，导致图像质量下降。
  2. 本论文提出了Representation Feature Adapter（RFA），通过移动特征残差来去除天气效果，同时保持场景内容。
  3. 实验结果显示，RFA在去除雨水时表现优异，并在多个条件下的指标上超越了CycleGAN-Turbo，训练时间显著减少。

📝 摘要（中文）

本论文提出了一种新方法，通过Representation Feature Adapter（RFA）来去除图像中的天气效果，如雾、雨和雪，同时保留场景内容。与现有的无配对翻译器相比，RFA通过固定编码器和特征条件解码器，仅训练适配器及其判别器，显著减少了可训练参数数量和训练时间。实验结果表明，RFA在多个指标上超越了CycleGAN-Turbo，并在模拟到真实的任务中表现优异，展示了其在去除天气效果时的有效性。

🔬 方法详解

问题定义：本论文旨在解决图像中天气效果（如雾、雨、雪）去除的问题。现有的无配对翻译器在处理这些效果时，往往无法有效保留场景的结构信息，导致图像质量下降。

核心思路：论文提出的RFA通过固定编码器和特征条件解码器，仅训练适配器及其判别器，从而移动特征残差，去除天气效果而不损失场景内容。这种设计使得模型在去除天气效果时更加高效。

技术框架：RFA的整体架构包括一个固定的编码器、一个特征条件解码器和一个可训练的适配器。适配器负责调整特征残差，以实现对天气效果的去除。

关键创新：RFA的主要创新在于其参数数量显著减少，约为CycleGAN-Turbo的160分之一，同时训练时间也大幅降低。这使得RFA在处理天气效果时更加高效且实用。

关键设计：RFA的设计包括2.9M的可训练参数，损失函数的选择旨在优化特征残差的移动效果。网络结构上，适配器与判别器的训练分离，确保了模型的稳定性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RFA在去除雨水时表现优异，且在雾天和夜间条件下的指标上超越了CycleGAN-Turbo。RFA在多个条件下的KID指标表现良好，且训练时间显著低于CycleGAN-Turbo，展现出其高效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像处理、自动驾驶中的环境感知以及虚拟现实中的场景渲染。通过有效去除天气效果，RFA能够提升图像质量和用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Clearing fog, rain or snow from footage, or turning renders into photographs, must remove the source domain and keep the scene. Unpaired translators carry it through because their generator sees the source appearance (pixels, a near-invertible latent or a control map) and keeps it. A DINO feature map fixes what is in the scene and carries weather, lighting and rendering style as a residue of 13 to 14% of the feature norm. We propose the Representation Feature Adapter (RFA), a 2.9M-parameter network that moves this residue. We train only the adapter and its discriminators; the encoder and a feature-conditioned decoder, trained once for all conditions, stay frozen. Against CycleGAN-Turbo it is ahead on both metrics on fog and on KID on night, and level within noise on snow, rain and haze. On sim-to-real it leads REGEN and HyPER-GAN on both metrics. Only the RFA removes the rain while keeping the scene. The removal costs scene structure: CycleGAN-Turbo keeps more on every condition but fog. On VAE latents the identical adapter collapses to the identity, and decoders from other groups that never saw it render its output. The RFA has about 160 times fewer trainable parameters than CycleGAN-Turbo and under a fifth of its per-condition training time.