The Unreasonable Effectiveness of Text Embedding Interpolation for Continuous Image Steering
作者: Yigit Ekin, Yossi Gandelsman
分类: cs.CV
发布日期: 2026-03-18
备注: Project Page: https://yigitekin.github.io/diffusion-sliders
💡 一句话要点
提出一种免训练的文本嵌入插值方法，实现对文本条件生成图像的连续控制。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本嵌入插值 图像编辑 文本条件生成模型 免训练方法 连续控制
📋 核心要点
- 现有文本条件图像编辑方法依赖额外训练或人工干预，成本较高且不够灵活。
- 该方法利用大型语言模型生成对比提示对，计算操控向量，并在文本嵌入空间中进行插值。
- 实验表明，该方法在连续编辑控制方面与训练方法相当，优于其他免训练方法。
📝 摘要（中文）
本文提出了一种免训练框架，用于在测试时对文本条件生成模型进行连续且可控的图像编辑。与依赖额外训练或手动用户干预的现有方法不同，我们发现简单的文本嵌入空间操控足以产生平滑的编辑控制。给定一个目标概念（例如，增强照片真实感或改变面部表情），我们使用大型语言模型自动构建一小组去偏的对比提示对，从中计算生成器文本编码器空间中的操控向量。然后，我们将此向量直接添加到输入提示表示中，以控制沿所需语义轴的生成。为了获得连续控制，我们提出了一种弹性范围搜索程序，该程序自动识别有效的操控幅度区间，避免了欠操控（无编辑）和过度操控（改变其他属性）。在此区间内添加缩放版本的相同向量可产生平滑且连续的编辑。由于我们的方法仅修改文本表示，因此它自然地推广到包括图像和视频生成在内的文本条件模态。为了量化操控的连续性，我们引入了一种新的评估指标，用于衡量编辑强度下语义变化的均匀性。我们比较了不同方法的连续编辑行为，发现尽管我们的方法简单且轻量级，但它与基于训练的替代方法相当，并且优于其他免训练方法。
🔬 方法详解
问题定义：现有文本条件图像编辑方法通常需要额外的训练，这增加了计算成本和模型复杂度。此外，手动干预也限制了编辑的自动化程度和效率。因此，需要一种免训练、连续且可控的图像编辑方法。
核心思路：该论文的核心思路是在文本嵌入空间中进行插值，通过操控文本嵌入向量来实现对生成图像的连续控制。通过在文本嵌入空间中找到一个合适的操控方向和幅度，可以平滑地改变生成图像的语义属性，而无需重新训练模型。
技术框架：该方法主要包含以下几个步骤：1) 使用大型语言模型自动生成对比提示对，这些提示对代表了目标编辑方向的两个极端。2) 利用这些提示对计算生成器文本编码器空间中的操控向量。3) 通过弹性范围搜索程序自动确定有效的操控幅度区间，避免欠操控和过度操控。4) 将缩放后的操控向量添加到输入提示表示中，控制生成图像的语义属性。
关键创新：该方法最重要的创新点在于提出了一种免训练的文本嵌入插值方法，实现了对文本条件生成图像的连续控制。与现有方法相比，该方法无需额外训练，具有更高的效率和灵活性。此外，该方法还提出了一种弹性范围搜索程序，可以自动确定有效的操控幅度区间，避免了手动调整参数的麻烦。
关键设计：该方法的关键设计包括：1) 使用大型语言模型生成高质量的对比提示对，确保操控向量能够准确地代表目标编辑方向。2) 设计弹性范围搜索程序，自动确定有效的操控幅度区间，避免欠操控和过度操控。3) 使用新的评估指标来量化操控的连续性，确保编辑过程的平滑性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在连续编辑控制方面与基于训练的替代方法相当，并且优于其他免训练方法。通过引入新的评估指标来量化操控的连续性，证明了该方法在编辑过程中的平滑性。该方法在多个文本条件生成模型上进行了验证，证明了其通用性和有效性。
🎯 应用场景
该研究成果可应用于图像编辑、内容创作、虚拟现实等领域。例如，用户可以使用该方法轻松地修改图像的风格、属性，或者生成具有特定语义特征的图像。该方法还可以用于视频编辑，实现对视频内容的连续控制。未来，该方法有望成为一种通用的图像和视频编辑工具。
📄 摘要（原文）
We present a training-free framework for continuous and controllable image editing at test time for text-conditioned generative models. In contrast to prior approaches that rely on additional training or manual user intervention, we find that a simple steering in the text-embedding space is sufficient to produce smooth edit control. Given a target concept (e.g., enhancing photorealism or changing facial expression), we use a large language model to automatically construct a small set of debiased contrastive prompt pairs, from which we compute a steering vector in the generator's text-encoder space. We then add this vector directly to the input prompt representation to control generation along the desired semantic axis. To obtain a continuous control, we propose an elastic range search procedure that automatically identifies an effective interval of steering magnitudes, avoiding both under-steering (no-edit) and over-steering (changing other attributes). Adding the scaled versions of the same vector within this interval yields smooth and continuous edits. Since our method modifies only textual representations, it naturally generalizes across text-conditioned modalities, including image and video generation. To quantify the steering continuity, we introduce a new evaluation metric that measures the uniformity of semantic change across edit strengths. We compare the continuous editing behavior across methods and find that, despite its simplicity and lightweight design, our approach is comparable to training-based alternatives, outperforming other training-free methods.