A Lightweight Velocity Correction Framework for Improving Instruction Following in Few-Step Text-to-Image Generation
作者: Yating Gao, Zhenlong Zhu, Wen Zihao, Lenan Zhang, Jiexiong Wang, Yang Yang, Guanjun Jiang, Yixiong Zou, Takuya Maekawa
分类: cs.CV
发布日期: 2026-10-09
💡 一句话要点
提出轻量级速度修正框架以改善少步文本到图像生成的指令跟随能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本到图像生成 速度修正 轻量级框架 深度学习 计算机视觉 指令跟随 生成模型
📋 核心要点
- 现有的少步文本到图像生成方法在处理复杂提示时容易出现错误，尤其是在多个主体和空间关系的情况下。
- 本文提出了一种轻量级的速度修正框架，利用冻结的生成器并通过修正器进行残差调整，避免了对生成器参数的修改。
- 在实验中，该框架在复杂场景分布上相较于基线模型实现了显著的性能提升，同时保持了较低的延迟。
📝 摘要（中文）
少步文本到图像生成器能够通过少量网络前向传递生成高质量图像，但在处理涉及多个主体、交互、空间关系、计数和属性绑定的复杂提示时表现不佳。本文提出了一种轻量级修正框架，针对一个冻结的6B参数生成器进行优化。该生成器预测速度以更新其中间图像表示，而修正器则学习在选定采样步骤的残差调整。通过在实际生成过程中修正状态，框架在复杂场景分布上实现了+17.60个百分点的NetWin提升，且仅增加26.9毫秒的端到端延迟。
🔬 方法详解
问题定义：本文旨在解决少步文本到图像生成器在处理复杂提示时的性能不足，尤其是在多主体和空间关系的情况下，现有方法无法有效减少生成错误。
核心思路：提出的框架通过引入一个轻量级的修正器，专注于学习生成过程中的残差调整，而不改变生成器的参数或增加前向传递次数。
技术框架：整体架构包括一个冻结的6B参数生成器和一个少于20M参数的修正器。生成器负责生成初步图像表示，修正器则在选定的采样步骤并行运行，进行状态修正。
关键创新：该框架是首个针对完全冻结的少步文本到图像生成器进行轻量级速度-残差适应的方案，保持了原有的采样调度和前向传递次数。
关键设计：修正器通过On-Trajectory Flow-Bridge Supervision方法，基于实际生成过程中达到的状态来推导残差目标，避免了奖励优化和再蒸馏的复杂性。
🖼️ 关键图片
📊 实验亮点
在实验中，该框架在复杂场景分布上相较于冻结的Z-Image-Turbo模型实现了+17.60个百分点的NetWin提升，且每幅图像仅增加26.9毫秒（0.84%）的端到端延迟，未增加主干网络的评估次数。
🎯 应用场景
该研究的潜在应用领域包括自动图像生成、虚拟现实、游戏开发以及任何需要根据文本描述生成图像的场景。通过提高指令跟随能力，能够在更复杂的应用中实现更高的用户体验和交互性。
📄 摘要（原文）
Few-step text-to-image generators produce high-quality images with few network forward passes, yet struggle with complex prompts involving multiple subjects, interactions, spatial relations, counting, and attribute binding. Can these errors be reduced without changing the generator's parameters or increasing its forward-pass count? We propose a lightweight correction framework for a frozen 6B-parameter generator. The generator predicts velocities that determine how its intermediate image representation is updated; a corrector with fewer than 20M parameters learns residual adjustments at selected sampling steps. Because earlier corrections change the states encountered at later steps, our On-Trajectory Flow-Bridge Supervision derives residual targets at the states actually reached during corrected generation. A single corrector is shared across selected steps and runs in parallel with the generator. Only the corrector is trained, requiring neither reward optimization nor re-distillation. To our knowledge, this is the first framework for lightweight velocity-residual adaptation of fully frozen few-step text-to-image generators that preserves their original sampling schedule and forward-pass count. On our target complex-scene distribution, the framework achieves a +17.60-percentage-point NetWin over frozen Z-Image-Turbo in pairwise instruction-following evaluation, with only 26.9 ms (0.84%) additional end-to-end latency per image and no increase in backbone evaluations.