POCA: Pareto-Optimal Curriculum Alignment for Visual Text Generation

📄 arXiv: 2604.24171v1 📥 PDF

作者: Yaohou Fan, Qingzhong Wang, Yongsong Huang, Junyi Liu, Tomo Miyazaki, Shinichiro Omachi

分类: cs.CV

发布日期: 2026-04-27

备注: Accepted by CVPR 2026

💡 一句话要点

提出POCA框架，通过帕累托最优课程对齐解决视觉文本生成中准确率与一致性的权衡问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉文本生成 帕累托最优 课程学习 多目标优化 强化学习

📋 核心要点

  1. 视觉文本生成模型面临文本准确性和图像一致性的权衡难题，单纯提高文本准确性会牺牲图像质量和指令遵循能力。
  2. POCA框架通过寻找帕累托最优解集，避免了传统加权求和方法的主观性，并设计自适应课程学习策略，提升训练效率。
  3. 实验结果表明，POCA在CLIP、HPS分数和句子准确率等多个指标上均取得了显著提升，验证了其有效性。

📝 摘要（中文）

当前视觉文本生成模型难以兼顾文本准确性和整体图像一致性。提高文本准确性可能会降低美观度和指令遵循能力。强化学习方法虽能通过对齐多个奖励来缓解此问题，但对于文本生成而言通常不稳定，因为现有方法通常以加权求和的方式优化多个奖励，且难以平衡各奖励的权重。此外，强化学习需要大量的训练指令，导致训练时间和计算资源消耗大，而少量指令则性能不佳。因此，如何选择指令以进行高效训练是一个未解决的问题。本研究提出帕累托最优课程对齐（POCA）框架，通过以下方式将此问题作为多目标问题解决：1）识别帕累托最优集以避免简单的标量化；2）设计自适应课程对齐策略，使用自动难度评估来管理多奖励数据集的学习序列，这对于强化学习方法在有限数据环境中探索以实现最佳收敛至关重要。POCA在统一的奖励空间中找到帕累托最优集，消除了不一致的信号，从而在由易到难的优化过程中找到不同奖励之间的最佳权衡方案。实验结果表明，POCA显著提高了CLIP、HPS分数和句子准确率等所有指标。

🔬 方法详解

问题定义：视觉文本生成任务需要在文本准确性和图像一致性之间取得平衡。现有方法，特别是基于强化学习的方法，通常采用加权求和的方式来优化多个奖励目标，但这种方式难以确定合适的权重，且训练不稳定。此外，强化学习需要大量的训练数据，特别是指令数据，而获取这些数据成本高昂，少量数据又会导致性能下降。因此，如何在有限的数据和计算资源下，有效地训练视觉文本生成模型是一个关键问题。

核心思路：POCA的核心思路是将视觉文本生成问题视为一个多目标优化问题，并利用帕累托最优的概念来寻找不同目标之间的最佳权衡。通过识别帕累托最优解集，避免了主观设定权重的问题。同时，POCA采用自适应课程学习策略，根据数据的难度自动调整训练顺序，从而提高训练效率和模型性能。

技术框架：POCA框架主要包含两个核心模块：帕累托最优集识别和自适应课程对齐。首先，通过多目标优化算法（具体算法未知）在统一的奖励空间中寻找帕累托最优解集，该集合包含了在不同目标之间达到最佳权衡的多个解。然后，利用自适应课程对齐策略，根据数据的难度（具体评估方法未知）自动调整训练顺序，从简单到复杂地训练模型。整体流程旨在找到一个在文本准确性和图像一致性之间取得最佳平衡的生成模型。

关键创新：POCA的关键创新在于将帕累托最优和课程学习结合起来，用于解决视觉文本生成中的多目标优化问题。与传统的加权求和方法相比，POCA能够更客观地找到不同目标之间的最佳权衡。与传统的固定课程学习相比，POCA的自适应课程学习策略能够根据数据的难度动态调整训练顺序，从而提高训练效率和模型性能。

关键设计：论文中没有详细说明帕累托最优集的具体算法和自适应课程对齐策略的具体实现细节。例如，如何定义和计算数据的难度，如何根据难度调整训练顺序，以及使用了什么样的多目标优化算法来寻找帕累托最优解集。这些细节需要参考论文原文或相关文献才能进一步了解。损失函数和网络结构等细节也未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，POCA框架在CLIP、HPS分数和句子准确率等多个指标上均取得了显著提升。具体的性能数据和对比基线需要在论文原文中查找。这些结果验证了POCA框架在解决视觉文本生成中的多目标优化问题方面的有效性。

🎯 应用场景

POCA框架可应用于各种视觉文本生成任务，例如图像描述、视觉故事生成、图像编辑等。该研究有助于提升生成文本的准确性和图像的一致性，从而提高用户体验和应用价值。未来，该方法可以扩展到其他多模态生成任务中，例如视频描述、语音合成等。

📄 摘要（原文）

Current visual text generation models struggle with the trade-off between text accuracy and overall image coherence. We find that achieving high text accuracy can reduce aesthetic quality and instruction-following capability. Although reinforcement learning approaches can alleviate the problem through aligning with multiple rewards, they are often unstable for text generation, as existing approaches normally optimize multiple rewards in a weighted-sum way. In addition, it is difficult to balance the weight of each reward. Moreover, reinforcement learning requires a set of training instructions. A large number of prompts require more training time and computing resources, while a small set leads to poor performance. Hence, how to select the prompts for efficient training is an unsolved problem. In this study, we propose Pareto-Optimal Curriculum Alignment (POCA), a framework that addresses this issue as a multi-objective problem by: 1) identifying the Pareto-optimal set to avoid simple scalarization and 2) designing an adaptive curriculum alignment strategy to manage a learning sequence of a multi-reward dataset using automatic difficulty assessment, which is crucial for optimal convergence as RL methods explore in a limited data environment. In synergy, POCA finds the Pareto-optimal set in a unified reward space, which eliminates inconsistent signals to find the best trade-off solution from different rewards under an easy-to-hard optimization landscape. The experimental results show that POCA significantly improves all metrics such as CLIP, HPS scores and sentence accuracy.