ImAgent: A Unified Multimodal Agent Framework for Test-Time Scalable Image Generation
作者: Kaishen Wang, Ruibo Chen, Tong Zheng, Heng Huang
分类: cs.CV, cs.AI
发布日期: 2025-11-14 (更新: 2025-11-24)
备注: 12 pages, 5 tables, 6 figures
💡 一句话要点
提出ImAgent：一种统一的多模态Agent框架，用于测试时可扩展的图像生成。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态Agent 图像生成 测试时扩展 自评估 策略控制 无训练 图像编辑
📋 核心要点
- 现有文本到图像模型在处理模糊或不明确的文本提示时，存在生成图像随机性和语义不一致的问题。
- ImAgent通过统一的多模态Agent框架，在测试时动态集成推理、生成和自评估，无需额外训练即可提升图像质量。
- 实验结果表明，ImAgent在图像生成和编辑任务上，显著优于backbone模型和其他基线方法。
📝 摘要（中文）
近年来，文本到图像（T2I）模型在生成视觉逼真和语义连贯的图像方面取得了显著进展。然而，当文本描述模糊或不明确时，它们仍然存在随机性和与给定提示不一致的问题。现有的方法，如提示重写、best-of-N采样和自优化，可以缓解这些问题，但通常需要额外的模块并且独立运行，从而阻碍了测试时扩展效率并增加了计算开销。本文介绍了一种无需训练的统一多模态Agent ImAgent，它在一个框架内集成了推理、生成和自评估，以实现高效的测试时扩展。在策略控制器的指导下，多个生成动作动态交互和自组织，以提高图像保真度和语义对齐，而无需依赖外部模型。在图像生成和编辑任务上的大量实验表明，ImAgent始终优于backbone模型，甚至超越了backbone模型失败的其他强大基线，突出了统一多模态Agent在测试时可扩展的自适应和高效图像生成的潜力。
🔬 方法详解
问题定义：现有的文本到图像生成模型在处理模糊或欠指定的文本提示时，生成的图像往往存在随机性和与提示不一致的问题。现有的解决方案，如提示重写、best-of-N采样和自优化，通常需要额外的模块，并且这些模块是独立运行的，导致测试时的扩展性受限，计算开销增加。
核心思路：ImAgent的核心思路是构建一个统一的多模态Agent，该Agent能够在一个框架内完成推理、生成和自评估。通过策略控制器的引导，多个生成动作可以动态地交互和自组织，从而在不需要额外训练的情况下，提高生成图像的保真度和语义对齐程度。这种设计旨在解决现有方法中模块独立运行和扩展性差的问题。
技术框架：ImAgent的整体框架包含一个策略控制器和多个生成动作。策略控制器负责根据当前图像生成的状态，选择合适的生成动作。生成动作负责执行具体的图像生成或编辑操作。Agent通过不断地执行生成动作，并根据自评估的结果调整策略，最终生成高质量的图像。整个过程无需外部模型，实现了端到端的优化。
关键创新：ImAgent的关键创新在于将推理、生成和自评估集成到一个统一的Agent框架中。与现有方法相比，ImAgent不需要额外的模块，并且能够动态地调整生成策略，从而提高了生成图像的质量和效率。此外，ImAgent是无需训练的，这使得它能够快速地适应新的任务和数据集。
关键设计：ImAgent的具体实现细节包括策略控制器的设计、生成动作的定义和自评估指标的选择。策略控制器可以使用强化学习或进化算法进行训练。生成动作可以包括图像编辑、图像修复、图像增强等操作。自评估指标可以包括图像质量、语义一致性和与提示的对齐程度等。这些设计细节需要根据具体的任务进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ImAgent在图像生成和编辑任务上，始终优于backbone模型，甚至超越了backbone模型失败的其他强大基线。这表明ImAgent能够有效地提高生成图像的质量和语义一致性，并且具有良好的泛化能力。具体的性能提升数据在论文中有详细展示。
🎯 应用场景
ImAgent具有广泛的应用前景，包括图像编辑、内容创作、虚拟现实、游戏开发等领域。它可以用于生成高质量的图像内容，提高用户体验，并降低人工成本。未来，ImAgent可以进一步扩展到其他模态，例如视频、音频等，从而实现更加智能化的内容生成。
📄 摘要（原文）
Recent text-to-image (T2I) models have made remarkable progress in generating visually realistic and semantically coherent images. However, they still suffer from randomness and inconsistency with the given prompts, particularly when textual descriptions are vague or underspecified. Existing approaches, such as prompt rewriting, best-of-N sampling, and self-refinement, can mitigate these issues but usually require additional modules and operate independently, hindering test-time scaling efficiency and increasing computational overhead. In this paper, we introduce ImAgent, a training-free unified multimodal agent that integrates reasoning, generation, and self-evaluation within a single framework for efficient test-time scaling. Guided by a policy controller, multiple generation actions dynamically interact and self-organize to enhance image fidelity and semantic alignment without relying on external models. Extensive experiments on image generation and editing tasks demonstrate that ImAgent consistently improves over the backbone and even surpasses other strong baselines where the backbone model fails, highlighting the potential of unified multimodal agents for adaptive and efficient image generation under test-time scaling.