Recursive Self-Improvement in Unified Multimodal Models

📄 arXiv: 2610.03002v1 📥 PDF

作者: Huijuan Wang, Chufan Shi, Cheng Yang, Yaokang Wu, Taylor Berg-Kirkpatrick, Xuezhe Ma

分类: cs.CL, cs.CV

发布日期: 2026-10-02

💡 一句话要点

提出递归跨能力自我改进方法以提升统一多模态模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统一多模态模型 自我改进 图像生成 文本理解 程序执行 深度学习 多模态交互

📋 核心要点

  1. 现有的统一多模态模型在自我改进时主要依赖于视觉监督，缺乏文本与视觉能力的有效交互。
  2. 本文提出的递归跨能力自我改进方法通过相互生成训练数据，提升了模型的文本和视觉理解能力。
  3. 实验结果显示，经过四轮RSI训练，模型在不同请求下的得分显著提升，验证构建是主要贡献来源。

📝 摘要（中文）

统一多模态模型（UMMs）能够理解和生成文本与图像，使得模型能够生成自身的训练数据。现有的自我改进方法主要集中在视觉方面，通过图像理解来评估图像生成。本文提出递归跨能力自我改进（RSI）方法，构建一个训练循环，使得UMM的文本和视觉能力相互提供训练数据。在每一轮中，模型生成图像并进行分析，以识别自身不足之处，随后编写针对这些不足的程序，并通过执行验证每个结果。经过验证的生成图像用于训练图像生成，而标记的生成图像和模型自身正确的程序则用于训练视觉理解和程序编写。实验表明，RSI在不同表述的请求上，经过四轮训练后，模型得分从45.7%提升至60.2%。

🔬 方法详解

问题定义：本文旨在解决现有统一多模态模型在自我改进过程中缺乏有效的文本与视觉能力交互的问题。现有方法主要依赖于视觉监督，导致模型在生成和理解能力上存在局限性。

核心思路：提出递归跨能力自我改进（RSI）方法，通过构建一个训练循环，使得模型的文本和视觉能力相互促进。模型生成图像后，分析其不足并编写程序进行改进，从而实现自我提升。

技术框架：RSI方法的整体架构包括图像生成、图像分析、程序编写和程序执行四个主要模块。每一轮训练中，模型生成图像并进行自我评估，随后编写程序并执行验证。

关键创新：RSI的最大创新在于通过程序执行作为外部真相来源，避免了错误在训练轮次中的累积。这一设计使得模型能够在每轮中持续改进。

关键设计：在训练过程中，模型的损失函数设计为结合生成图像的验证结果和程序的正确性，确保每个阶段的输出都经过严格验证。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，经过四轮的递归跨能力自我改进，模型在不同表述请求下的得分从45.7%提升至60.2%，而继续训练的得分仅为46.3%。验证构建的贡献最大，提升幅度达到3.5%。此外，经过训练，验证程序的比例从48.9%提升至95.2%。

🎯 应用场景

该研究的潜在应用领域包括智能图像生成、自动化内容创作和多模态交互系统。通过提升模型的自我改进能力，未来可以在教育、娱乐和商业等多个领域实现更高效的智能应用，推动人机交互的进步。

📄 摘要（原文）

Unified multimodal models (UMMs) understand and generate both text and images, which lets a model produce its own training data. Existing self-improvement in UMMs keeps supervision on the visual side, where image understanding judges image generation. We propose recursive cross-capability self-improvement (RSI), a training loop in which the text and visual abilities of a UMM supply training data for one another. In each round, the model generates images and reads them to find where it falls short. It then writes programs aimed at these shortcomings, and execution verifies every result against its specification. Verified renders train image generation, while labeled renders and the model's own correct programs train visual understanding and program writing. Program execution thus acts as a source of truth outside the model, so errors do not accumulate across rounds. We study RSI on charts and build BasicChartBench to evaluate open models early in training. On requests worded differently from training, four rounds of RSI raise the score from 45.7% to 60.2%, while continued training stays at 46.3%. Verified construction carries most of the gain, and targeting the model's failures adds 3.5%. Along the way, the share of verified programs rises from 48.9% to 95.2%, and the reader's accuracy on edited renders rises from 55.6% to 87.4%.