HiGFA: Hierarchical Guidance for Fine-grained Data Augmentation with Diffusion Models

📄 arXiv: 2511.12547v4 📥 PDF

作者: Zhiguang Lu, Qianqian Xu, Peisong Wen, Siran Dai, Qingming Huang

分类: cs.CV

发布日期: 2025-11-16 (更新: 2025-12-01)

💡 一句话要点

HiGFA：利用扩散模型和分层引导进行细粒度数据增强

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 细粒度视觉分类 数据增强 扩散模型 分层引导 无分类器引导

📋 核心要点

  1. 现有基于文本引导的扩散模型在细粒度数据增强中，难以准确捕捉类别定义的细微特征，导致性能下降。
  2. HiGFA通过分层引导，在扩散过程的不同阶段采用不同强度的文本、轮廓和分类器引导，实现全局结构和局部细节的平衡。
  3. 实验表明，HiGFA在多个细粒度视觉分类数据集上有效，能够生成高质量的合成图像，提升分类器性能。

📝 摘要（中文）

生成式扩散模型在数据增强方面展现出潜力。然而，将其应用于细粒度任务面临重大挑战：确保合成图像准确捕捉对类别定义至关重要的细微特征，以实现高保真度。标准的基于文本的无分类器引导(CFG)方法通常缺乏所需的特异性，可能生成误导性样本，从而降低细粒度分类器的性能。为了解决这个问题，我们提出了分层引导的细粒度增强(HiGFA)。HiGFA利用扩散采样过程的时间动态性。它在早期到中期的采样阶段采用具有固定强度的强文本和变换轮廓引导，以建立整体场景、风格和结构。在最后的采样阶段，HiGFA激活专门的细粒度分类器引导，并根据预测置信度动态调整所有引导信号的强度。这种分层的、置信度驱动的编排使HiGFA能够通过智能地平衡全局结构形成与精确的细节细化来生成多样但真实的合成图像。在几个FGVC数据集上的实验证明了HiGFA的有效性。

🔬 方法详解

问题定义：细粒度视觉分类（FGVC）任务对数据质量要求极高，类别间的差异往往体现在细微的局部特征上。现有的数据增强方法，尤其是基于文本引导的扩散模型，难以生成既具有多样性又忠实于原始类别的图像。简单的文本描述不足以指导模型生成具有区分性的细粒度特征，可能导致合成图像质量下降，反而降低分类器的性能。

核心思路：HiGFA的核心思路是利用扩散模型的采样过程，通过分层引导策略，在不同的采样阶段施加不同类型的引导信号。早期阶段侧重于全局结构和风格的构建，后期阶段则专注于细粒度特征的精细化。同时，引入置信度机制，动态调整引导信号的强度，以保证生成图像的真实性和多样性。

技术框架：HiGFA的整体框架基于扩散模型，主要包含以下几个阶段：1) 早期到中期采样阶段：使用强文本引导和变换轮廓引导，以固定强度控制生成图像的整体场景、风格和结构。2) 后期采样阶段：激活细粒度分类器引导，利用分类器预测的置信度动态调整所有引导信号的强度。这种分层结构允许模型先构建全局信息，再逐步细化局部特征。

关键创新：HiGFA的关键创新在于其分层引导策略和置信度驱动的动态调整机制。传统方法通常采用单一的引导方式，难以兼顾全局结构和局部细节。HiGFA通过在不同阶段采用不同类型的引导，并根据分类器的置信度动态调整引导强度，实现了更精细的控制，从而生成更逼真、更具区分性的合成图像。

关键设计：HiGFA的关键设计包括：1) 变换轮廓引导：使用图像的轮廓信息作为额外的引导信号，帮助模型更好地捕捉物体的形状和结构。2) 细粒度分类器引导：利用预训练的细粒度分类器，根据生成图像的特征预测类别，并将预测结果作为引导信号，促使模型生成更符合该类别特征的图像。3) 置信度驱动的动态调整：根据分类器预测的置信度，动态调整文本引导、轮廓引导和分类器引导的强度，避免过度引导或引导不足。

📊 实验亮点

HiGFA在多个细粒度视觉分类数据集上取得了显著的性能提升。例如，在CUB-200-2011数据集上，HiGFA相较于基线方法取得了X%的准确率提升（具体数值请参考原论文）。实验结果表明，HiGFA能够有效生成高质量的合成图像，并显著提升细粒度分类器的性能，验证了其分层引导策略的有效性。

🎯 应用场景

HiGFA可广泛应用于细粒度图像识别、图像生成、数据增强等领域。例如，在生物多样性保护中，可以利用HiGFA生成稀有物种的合成图像，扩充训练数据集，提高物种识别的准确率。在工业质检中，可以生成缺陷样本，提升缺陷检测模型的鲁棒性。该研究有助于推动人工智能在细粒度图像处理领域的应用。

📄 摘要（原文）

Generative diffusion models show promise for data augmentation. However, applying them to fine-grained tasks presents a significant challenge: ensuring synthetic images accurately capture the subtle, category-defining features critical for high fidelity. Standard approaches, such as text-based Classifier-Free Guidance (CFG), often lack the required specificity, potentially generating misleading examples that degrade fine-grained classifier performance. To address this, we propose Hierarchically Guided Fine-grained Augmentation (HiGFA). HiGFA leverages the temporal dynamics of the diffusion sampling process. It employs strong text and transformed contour guidance with fixed strengths in the early-to-mid sampling stages to establish overall scene, style, and structure. In the final sampling stages, HiGFA activates a specialized fine-grained classifier guidance and dynamically modulates the strength of all guidance signals based on prediction confidence. This hierarchical, confidence-driven orchestration enables HiGFA to generate diverse yet faithful synthetic images by intelligently balancing global structure formation with precise detail refinement. Experiments on several FGVC datasets demonstrate the effectiveness of HiGFA.