RSIgen: Reciprocal Self-Improvement for Agentic Visual Generation
作者: Yidi Liu, Haozhe Wang, Jie Xiao, Kai Zhu, Xueyang Fu, Zheng-Jun Zha
分类: cs.CV
发布日期: 2026-10-13
💡 一句话要点
提出RSIgen框架以解决多模态生成中的学习分配问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态生成 自我改进 动态责任路由 学习分配 监督刷新 课程构建 视觉质量 任务完成度
📋 核心要点
- 现有的多模态生成方法在学习分配和监督刷新方面存在不足，导致生成器更新后代理的学习效果下降。
- RSIgen框架通过动态责任路由（DRR）选择学习对象，并在生成器学习后刷新代理的监督，从而实现自我改进。
- 在多个数据集上，RSIgen相较于基线方法在任务完成度和视觉质量上均有显著提升，验证了其有效性。
📝 摘要（中文）
Agentic视觉生成能够提升统一多模态骨干的理解和生成能力，但仅依赖任务成功并不足以决定学习角色。生成器的更新可能导致代理的动作监督失效。为此，本文提出RSIgen框架，旨在通过动态责任路由（DRR）实现学习分配、监督刷新和递归课程构建的相互自我改进。RSIgen在多个数据集上进行评估，显示出显著的性能提升，尤其在任务完成度和视觉质量方面取得了良好效果。
🔬 方法详解
问题定义：本文旨在解决多模态生成中学习分配和监督失效的问题。现有方法在生成器更新后，代理的学习效果往往下降，无法有效适应新的任务需求。
核心思路：RSIgen框架通过动态责任路由（DRR）来选择学习对象，并在生成器学习后重新评估代理的动作监督，以实现学习的自我改进。这样的设计使得学习过程更加灵活和高效。
技术框架：RSIgen的整体架构包括三个主要模块：学习分配、监督刷新和课程构建。学习分配模块通过DRR选择合适的学习对象，监督刷新模块在生成器学习后更新代理的监督，而课程构建模块则根据保留的角色构建下一阶段的学习内容。
关键创新：RSIgen的核心创新在于其动态责任路由机制，能够根据任务需求灵活调整学习对象和监督方式。这一机制与传统方法相比，提供了更高的适应性和效率。
关键设计：在设计中，RSIgen采用了多层次的损失函数来平衡不同角色的学习目标，同时在网络结构上引入了递归课程构建的机制，以确保学习过程的连贯性和有效性。
🖼️ 关键图片
📊 实验亮点
在对200个真实用户请求的盲评估中，RSIgen在任务完成度和视觉质量方面分别达到了70.0%和64.9%的偏好得分，相较于基线方法有3.2至3.3的提升，显示出其在实际应用中的有效性。
🎯 应用场景
RSIgen框架在多模态生成领域具有广泛的应用潜力，尤其在智能助手、自动内容生成和人机交互等场景中，可以显著提升生成系统的智能化水平和用户体验。未来，该框架还可能推动更复杂的多模态学习任务的发展。
📄 摘要（原文）
Agentic visual generation produces experience that can improve the native understanding (agent) and generation roles of a unified multimodal backbone, but task success alone does not determine which role should learn. Generator updates can also make the agent's action supervision stale. We introduce RSIgen, a task-centric reciprocal self-improvement framework linking learning allocation, supervision refresh, and recursive curriculum construction. Dynamic Responsibility Routing (DRR) uses matched interventions on evidence, inputs, and supported actions to select learning recipients and construct compatible training targets. After generator learning, RSIgen re-evaluates the relative utility of tested actions with branch inputs held fixed to refresh agent supervision; the retained roles then construct the next curriculum. Across BAGEL, Qwen-Image, and Wan-Image-7B, RSIgen improves AgentGen-Bench Full Overall9 by 3.2--3.3 points over a three-cycle SearchGen adaptation with action costs. Wan controls support allocation gains at matched role-level training exposure, refresh gains at a matched adaptation budget, and benefits from updated curriculum sources while recipients continue learning. In blind evaluation on 200 real-user requests, pooled tie-adjusted preference scores against the same baseline reach 70.0% for task completion and 64.9% for visual quality.