Learning to Be Guided: Shaping Latent Geometry for Classifier-Free Guidance

📄 arXiv: 2610.22885v1 📥 PDF

作者: Haoming Liu, Junhao Zhu, Shaoyi Zheng, Yuanhe Guo, Jinnuo Liu, Shenji Wan, Hongyi Wen

分类: cs.LG, cs.AI

发布日期: 2026-10-16

备注: 29 pages, 5 figures; project page: https://maps-research.github.io/cfg-geometry/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出原型正则化以优化无分类器引导生成性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 无分类器引导 潜在扩散模型 类几何结构 原型正则化 生成模型

📋 核心要点

  1. 现有的潜在扩散模型在处理条件生成时，缺乏对潜在空间中类别几何结构的有效利用，导致生成效果不佳。
  2. 论文提出了原型正则化（PR）作为一种轻量级替代方案，通过对潜在空间进行优化，使得类别在噪声下更具可区分性。
  3. 在ImageNet数据集上，PR的引入使得引导生成FID从3.31降低到2.28，超越了现有的DINOv3对齐VA-VAE模型，且计算开销极小。

📝 摘要（中文）

无分类器引导（CFG）是条件扩散模型的标准组成部分，生成性能已成为衡量最先进模型的实际标准。本文研究了在离散类别条件下的类几何结构，探讨了如何优化潜在空间以提高CFG的效果。通过高斯类模型，我们发现将方差从类内转移到类间可以在噪声下使类别更具可区分性。基于此分析，提出了一种轻量级的原型正则化（PR）方法，显著提升了生成质量，并在多个条件下展示了良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决在无分类器引导生成中，潜在空间的类别几何结构对生成效果的影响。现有方法未能有效利用类别之间的关系，导致生成质量下降。

核心思路：通过分析高斯类模型，提出将方差从类内转移到类间的策略，使得在噪声环境下类别更加可区分，从而提升生成效果。

技术框架：整体方法包括对潜在空间的优化和原型正则化的应用。首先分析类别几何结构，然后设计PR作为优化工具，最后在潜在空间中应用余弦原型分类器。

关键创新：最重要的创新在于提出了原型正则化（PR），它作为一种轻量级的替代方案，能够有效地近似复杂的噪声后验目标，显著提升生成质量。

关键设计：在训练过程中，PR通过对空间池化的潜在向量应用余弦原型分类器，确保类别间的可区分性。同时，控制训练预算，确保在有限的训练周期内实现性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，原型正则化（PR）在ImageNet数据集上将引导生成FID从3.31降低至2.28，超越了DINOv3对齐的VA-VAE（2.44），且计算开销极小，展示了其在生成任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像生成、视频生成以及文本生成等。通过优化潜在空间的几何结构，能够在多种生成任务中提升生成质量，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Classifier-free guidance (CFG) is a standard component of conditional diffusion models, and guided generation performance has become the \textit{de facto} measure of state-of-the-art models. Recent work on latent diffusion models seeks to learn latent spaces that are easier to model with diffusion. However, under CFG, generation additionally depends on how conditions are arranged in the latent space. We study this arrangement under discrete class conditions, termed \emph{class geometry}, and investigate what class geometry allows a latent space to work well with CFG. Under a Gaussian class model, we show that shifting variance from intra- to inter-class at fixed total variance makes classes more distinguishable under noise, and derive a noisy posterior objective whose per-sample descent direction is proportional to the oracle CFG correction. Based on the analysis, we propose Prototype Regularization (PR), a lightweight surrogate for the intractable noisy posterior objective, which applies a cosine prototype classifier to spatially pooled latents. With a controlled training budget (20 epochs for VAE, 80 epochs for DiT), adding PR to an LDM baseline reduces guided gFID on ImageNet from 3.31 to 2.28, surpassing a DINOv3-aligned VA-VAE (2.44) with negligible overhead. We further demonstrate that PR generalizes to pseudo-labels derived from clustering, continuous text-embedding conditions, and video latents. Together, our findings highlight class geometry as a critical factor in guided generation and take a first step toward CFG-compatible representation learning. Our project page is available at: https://maps-research.github.io/cfg-geometry/.