UnZipLoRA: Separating Content and Style from a Single Image

📄 arXiv: 2412.04465v2 📥 PDF

作者: Chang Liu, Viraj Shah, Aiyu Cui, Svetlana Lazebnik

分类: cs.CV

发布日期: 2024-12-05 (更新: 2025-08-19)

备注: Project page: https://unziplora.github.io

💡 一句话要点

UnZipLoRA：提出一种从单张图像中解耦内容与风格的LoRA方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 图像解耦 风格迁移 LoRA 单张图像 主体提取 风格提取 图像编辑 个性化生成

📋 核心要点

  1. 现有图像个性化方法难以从单张图像中同时解耦主体和风格，需要额外的训练数据或无法保证风格与内容的独立控制。
  2. UnZipLoRA通过同时训练两个LoRA，并引入提示分离、列分离和块分离策略，实现从单张图像中解耦主体和风格。
  3. 实验结果表明，UnZipLoRA在主体和风格解耦方面优于现有方法，能够实现风格迁移、内容变异等多种图像编辑任务。

📝 摘要（中文）

本文介绍了一种名为UnZipLoRA的方法，用于将图像分解为其组成的主体和风格，分别表示为两个不同的LoRA（低秩适应）。与现有孤立地关注主体或风格，或需要每个元素单独训练集的个性化技术不同，UnZipLoRA通过同时训练两个LoRA，从单张图像中解耦这些元素。UnZipLoRA确保生成的LoRA是兼容的，即它们可以使用直接相加的方式无缝组合。UnZipLoRA能够独立地操纵和重新构建主体和风格，包括生成各自的变体，将提取的风格应用于新的主体，以及重新组合它们以重建原始图像或创建新的变体。为了解决主体和风格纠缠的挑战，UnZipLoRA采用了一种新颖的提示分离技术，以及列和块分离策略，以准确地保留主体和风格的特征，并确保学习到的LoRA之间的兼容性。通过人工研究和定量指标进行的评估表明，与其他最先进的方法（包括DreamBooth-LoRA、Inspiration Tree和B-LoRA）相比，UnZipLoRA的有效性。

🔬 方法详解

问题定义：现有图像个性化方法通常侧重于提取图像中的特定主体或风格，或者需要大量的训练数据才能实现较好的效果。对于单张图像，如何有效地解耦主体和风格，并保证它们之间的独立性和可控性是一个挑战。现有方法容易出现主体和风格的纠缠，导致无法灵活地进行图像编辑和生成。

核心思路：UnZipLoRA的核心思路是从单张图像中同时学习两个LoRA，一个LoRA负责捕捉图像的主体信息，另一个LoRA负责捕捉图像的风格信息。通过精心设计的训练策略和分离技术，使得这两个LoRA能够相互独立，并且可以灵活地组合，从而实现对主体和风格的独立控制。

技术框架：UnZipLoRA的整体框架包括以下几个主要步骤：1) 输入单张图像；2) 使用提示分离技术生成主体提示和风格提示；3) 同时训练两个LoRA，分别对应主体和风格；4) 使用列分离和块分离策略来减少主体和风格之间的纠缠；5) 通过组合两个LoRA，可以重建原始图像或生成新的变体。

关键创新：UnZipLoRA最重要的创新点在于它能够从单张图像中同时解耦主体和风格，而不需要额外的训练数据。此外，UnZipLoRA还提出了一种新颖的提示分离技术，以及列分离和块分离策略，以确保学习到的LoRA之间的兼容性和独立性。这与现有方法形成了本质区别，现有方法通常只能提取主体或风格，或者需要大量的训练数据。

关键设计：UnZipLoRA的关键设计包括：1) 提示分离技术，用于生成主体提示和风格提示；2) 列分离策略，用于减少主体和风格之间的信息泄露；3) 块分离策略，用于进一步提高主体和风格的独立性；4) 损失函数的设计，用于保证学习到的LoRA能够重建原始图像，并且具有良好的泛化能力。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UnZipLoRA在主体和风格解耦方面优于现有的DreamBooth-LoRA、Inspiration Tree和B-LoRA等方法。通过人工评估和定量指标，证明了UnZipLoRA能够更准确地提取主体和风格信息，并且能够更好地控制主体和风格的独立性。具体的性能数据和对比结果在论文中有详细展示。

🎯 应用场景

UnZipLoRA具有广泛的应用前景，例如风格迁移、图像编辑、内容生成等。它可以用于创建个性化的图像内容，例如将特定风格应用于不同的主体，或者生成具有特定风格的图像变体。此外，UnZipLoRA还可以用于图像修复和增强，例如去除图像中的噪声或提高图像的清晰度。未来，UnZipLoRA有望在艺术创作、广告设计、游戏开发等领域发挥重要作用。

📄 摘要（原文）

This paper introduces UnZipLoRA, a method for decomposing an image into its constituent subject and style, represented as two distinct LoRAs (Low-Rank Adaptations). Unlike existing personalization techniques that focus on either subject or style in isolation, or require separate training sets for each, UnZipLoRA disentangles these elements from a single image by training both the LoRAs simultaneously. UnZipLoRA ensures that the resulting LoRAs are compatible, i.e., they can be seamlessly combined using direct addition. UnZipLoRA enables independent manipulation and recontextualization of subject and style, including generating variations of each, applying the extracted style to new subjects, and recombining them to reconstruct the original image or create novel variations. To address the challenge of subject and style entanglement, UnZipLoRA employs a novel prompt separation technique, as well as column and block separation strategies to accurately preserve the characteristics of subject and style, and ensure compatibility between the learned LoRAs. Evaluation with human studies and quantitative metrics demonstrates UnZipLoRA's effectiveness compared to other state-of-the-art methods, including DreamBooth-LoRA, Inspiration Tree, and B-LoRA.