ConceptWeaver: Weaving Disentangled Concepts with Flow
作者: Jintao Chen, Aiming Hao, Xiaoqing Chen, Chengyu Bai, Chubin Chen, Yanxun Li, Jiahong Wu, Xiangxiang Chu, Shanghang Zhang
分类: cs.CV
发布日期: 2026-03-30
💡 一句话要点
ConceptWeaver：利用Flow模型解耦概念，实现单样本概念定制化合成与编辑。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: Flow模型 概念解耦 单样本学习 图像编辑 生成模型 微分探测 阶段感知优化
📋 核心要点
- 现有Flow模型难以从单样本中解耦和定制概念，限制了其在概念编辑方面的应用。
- ConceptWeaver通过分析Flow模型的生成过程，发现其具有三个阶段，并在实例化阶段进行概念解耦。
- ConceptWeaver通过阶段感知优化学习概念偏移，并使用CWG机制在推理时注入，实现高保真编辑。
📝 摘要（中文）
预训练的基于Flow的模型擅长合成复杂场景，但缺乏直接机制来解耦和定制来自单样本真实世界源的概念。为了揭示这一过程，我们首先引入了一种新的微分探测技术，以隔离和分析单个概念token对速度场随时间的影响。这项研究产生了一个关键的见解：生成过程不是单片的，而是分三个不同的阶段展开。初始的蓝图阶段建立低频结构，随后是关键的实例化阶段，其中内容概念以峰值强度出现并自然地解耦，从而为操作创造了最佳窗口。最后的概念不敏感的细化阶段然后合成细粒度的细节。在这一发现的指导下，我们提出了ConceptWeaver，一个用于单样本概念解耦的框架。ConceptWeaver使用与三阶段框架对齐的阶段感知优化策略，从单个参考图像中学习概念特定的语义偏移。然后，这些学习到的偏移通过我们新颖的ConceptWeaver Guidance (CWG)机制在推理期间部署，该机制在适当的生成阶段策略性地注入它们。广泛的实验验证了ConceptWeaver能够实现高保真、组合合成和编辑，表明理解和利用Flow模型的内在分阶段性质是解锁精确、多粒度内容操作的关键。
🔬 方法详解
问题定义：现有基于Flow的生成模型虽然能够生成高质量的图像，但是在概念解耦和编辑方面存在不足。具体来说，如何从单张图像中提取并修改特定概念，例如改变图像中物体的风格或替换物体，是一个具有挑战性的问题。现有的方法要么需要大量的训练数据，要么无法很好地控制生成过程中的概念。
核心思路：ConceptWeaver的核心思路是揭示并利用Flow模型生成过程中的内在分阶段特性。通过分析发现，Flow模型的生成过程可以分为三个阶段：蓝图阶段（建立整体结构）、实例化阶段（概念出现并解耦）和细化阶段（添加细节）。ConceptWeaver的关键在于在实例化阶段进行概念解耦和编辑，因为此时概念的表示最为清晰和独立。
技术框架：ConceptWeaver框架主要包含两个部分：阶段感知优化和ConceptWeaver Guidance (CWG)。首先，通过微分探测技术分析Flow模型在不同阶段对概念的响应。然后，使用阶段感知优化策略，从单张参考图像中学习概念特定的语义偏移。最后，在推理阶段，通过CWG机制，在Flow模型的实例化阶段策略性地注入这些学习到的偏移，从而实现对特定概念的编辑和控制。
关键创新：ConceptWeaver的关键创新在于发现了Flow模型生成过程中的三个阶段，并提出了阶段感知的优化策略和CWG机制。与现有方法不同，ConceptWeaver不需要大量的训练数据，而是通过分析Flow模型的内在特性，实现了单样本的概念解耦和编辑。此外，CWG机制能够精确地控制概念注入的位置和强度，从而保证生成图像的质量和一致性。
关键设计：ConceptWeaver的关键设计包括：1) 使用微分探测技术来分析Flow模型在不同阶段对概念的响应；2) 设计阶段感知的优化策略，以学习概念特定的语义偏移；3) 提出ConceptWeaver Guidance (CWG)机制，用于在Flow模型的实例化阶段策略性地注入学习到的偏移。具体的损失函数和网络结构等技术细节在论文中有详细描述，但摘要中未明确给出。
🖼️ 关键图片
📊 实验亮点
ConceptWeaver通过在多个数据集上的实验验证了其有效性。实验结果表明，ConceptWeaver能够实现高保真、组合合成和编辑，并且在单样本概念解耦方面优于现有方法。具体的性能数据和对比基线在论文中有详细描述，但摘要中未明确给出具体的数值提升。
🎯 应用场景
ConceptWeaver具有广泛的应用前景，例如图像编辑、风格迁移、内容创作等。它可以用于生成具有特定风格或包含特定物体的图像，也可以用于修改现有图像中的物体或场景。该技术在游戏开发、电影制作、广告设计等领域具有潜在的应用价值，并可能推动个性化内容生成的发展。
📄 摘要（原文）
Pre-trained flow-based models excel at synthesizing complex scenes yet lack a direct mechanism for disentangling and customizing their underlying concepts from one-shot real-world sources. To demystify this process, we first introduce a novel differential probing technique to isolate and analyze the influence of individual concept tokens on the velocity field over time. This investigation yields a critical insight: the generative process is not monolithic but unfolds in three distinct stages. An initial \textbf{Blueprint Stage} establishes low-frequency structure, followed by a pivotal \textbf{Instantiation Stage} where content concepts emerge with peak intensity and become naturally disentangled, creating an optimal window for manipulation. A final concept-insensitive refinement stage then synthesizes fine-grained details. Guided by this discovery, we propose \textbf{ConceptWeaver}, a framework for one-shot concept disentanglement. ConceptWeaver learns concept-specific semantic offsets from a single reference image using a stage-aware optimization strategy that aligns with the three-stage framework. These learned offsets are then deployed during inference via our novel ConceptWeaver Guidance (CWG) mechanism, which strategically injects them at the appropriate generative stage. Extensive experiments validate that ConceptWeaver enables high-fidelity, compositional synthesis and editing, demonstrating that understanding and leveraging the intrinsic, staged nature of flow models is key to unlocking precise, multi-granularity content manipulation.