Harmonizing Visual Text Comprehension and Generation
作者: Zhen Zhao, Jingqun Tang, Binghong Wu, Chunhui Lin, Shu Wei, Hao Liu, Xin Tan, Zhizhong Zhang, Can Huang, Yuan Xie
分类: cs.CV
发布日期: 2024-07-23 (更新: 2024-10-23)
备注: accepted by NeurIPS 2024
🔗 代码/项目: GITHUB
💡 一句话要点
TextHarmony：提出Slide-LoRA，统一视觉文本理解与生成任务。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉文本理解 视觉文本生成 多模态生成 LoRA 模型统一 Slide-LoRA 图像描述 多模态融合
📋 核心要点
- 现有方法在视觉文本生成中，因视觉和语言模态不一致，需针对特定模态数据微调，导致模型冗余。
- 提出Slide-LoRA，动态聚合模态特定和模态无关的LoRA专家，解耦多模态生成空间，实现统一生成。
- TextHarmony在视觉文本理解和生成任务中分别提升2.5%和4.0%，参数量仅增加2%，性能优异。
📝 摘要（中文）
本文提出了TextHarmony，一个统一且通用的多模态生成模型，擅长理解和生成视觉文本。由于视觉和语言模态之间固有的不一致性，同时生成图像和文本通常会导致性能下降。为了克服这一挑战，现有方法通常依赖于特定模态的数据进行监督微调，这需要不同的模型实例。我们提出了Slide-LoRA，它动态地聚合特定模态和模态无关的LoRA专家，从而部分地解耦多模态生成空间。Slide-LoRA在一个单一模型实例中协调视觉和语言的生成，从而促进更统一的生成过程。此外，我们开发了一个高质量的图像描述数据集DetailedTextCaps-100K，该数据集使用复杂的闭源MLLM合成，以进一步增强视觉文本生成能力。在各种基准上的综合实验证明了该方法的有效性。在Slide-LoRA的支持下，TextHarmony仅以2%的参数增加实现了与特定模态微调结果相当的性能，并在视觉文本理解任务中平均提高了2.5%，在视觉文本生成任务中平均提高了4.0%。我们的工作阐明了视觉文本领域内多模态生成的集成方法的可行性，为后续研究奠定了基础。
🔬 方法详解
问题定义：现有视觉文本生成模型通常需要针对特定模态（视觉或文本）进行单独的微调，导致需要维护多个模型实例，增加了计算和存储成本。同时，由于视觉和语言模态之间存在固有的不一致性，直接进行多模态生成容易导致性能下降。现有方法难以在单一模型中实现高效且高质量的视觉文本理解与生成。
核心思路：本文的核心思路是通过动态聚合模态特定和模态无关的LoRA专家，实现多模态生成空间的解耦。具体而言，Slide-LoRA允许模型根据输入数据的模态特点，灵活地选择合适的LoRA专家进行参数调整，从而在单一模型实例中协调视觉和语言的生成。
技术框架：TextHarmony的整体框架基于一个预训练的多模态生成模型（具体模型未知），并引入了Slide-LoRA模块。该模块包含多个LoRA专家，每个专家负责处理特定模态或模态无关的信息。在生成过程中，Slide-LoRA根据输入数据的模态特征，动态地计算每个LoRA专家的权重，并将这些专家进行加权组合，最终得到用于参数调整的LoRA矩阵。通过这种方式，模型可以根据输入数据的特点，自适应地调整生成策略。
关键创新：最重要的技术创新点是Slide-LoRA模块，它通过动态聚合LoRA专家，实现了多模态生成空间的解耦。与现有方法中需要针对特定模态进行单独微调不同，Slide-LoRA允许模型在单一实例中处理多种模态，从而提高了模型的效率和泛化能力。此外，DetailedTextCaps-100K数据集的构建也为视觉文本生成提供了高质量的训练数据。
关键设计：Slide-LoRA的关键设计在于如何动态地计算LoRA专家的权重。具体方法未知，但推测可能使用了注意力机制或门控机制，根据输入数据的模态特征，自适应地调整每个LoRA专家的权重。此外，DetailedTextCaps-100K数据集的构建也需要仔细设计，以保证数据集的质量和多样性。损失函数的设计可能也考虑了模态一致性，以进一步提高生成质量。
🖼️ 关键图片
📊 实验亮点
TextHarmony借助Slide-LoRA，仅增加2%的参数量，在视觉文本理解任务中平均提升2.5%，在视觉文本生成任务中平均提升4.0%。同时，TextHarmony实现了与特定模态微调结果相当的性能，证明了其在统一视觉文本理解与生成方面的有效性。DetailedTextCaps-100K数据集的贡献也值得关注。
🎯 应用场景
TextHarmony在图像描述生成、视觉问答、图文创作等领域具有广泛的应用前景。该模型可以用于自动生成高质量的图像描述，帮助视障人士理解图像内容；也可以用于构建智能客服系统，回答用户关于图像的提问；还可以用于辅助设计师进行图文创作，提高创作效率。未来，该研究可以进一步扩展到视频理解和生成等领域。
📄 摘要（原文）
In this work, we present TextHarmony, a unified and versatile multimodal generative model proficient in comprehending and generating visual text. Simultaneously generating images and texts typically results in performance degradation due to the inherent inconsistency between vision and language modalities. To overcome this challenge, existing approaches resort to modality-specific data for supervised fine-tuning, necessitating distinct model instances. We propose Slide-LoRA, which dynamically aggregates modality-specific and modality-agnostic LoRA experts, partially decoupling the multimodal generation space. Slide-LoRA harmonizes the generation of vision and language within a singular model instance, thereby facilitating a more unified generative process. Additionally, we develop a high-quality image caption dataset, DetailedTextCaps-100K, synthesized with a sophisticated closed-source MLLM to enhance visual text generation capabilities further. Comprehensive experiments across various benchmarks demonstrate the effectiveness of the proposed approach. Empowered by Slide-LoRA, TextHarmony achieves comparable performance to modality-specific fine-tuning results with only a 2% increase in parameters and shows an average improvement of 2.5% in visual text comprehension tasks and 4.0% in visual text generation tasks. Our work delineates the viability of an integrated approach to multimodal generation within the visual text domain, setting a foundation for subsequent inquiries. Code is available at https://github.com/bytedance/TextHarmony.