Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reinforcement Post-Training

📄 arXiv: 2609.15051v1 📥 PDF

作者: Yuanhao Yue, Qianli Ma, Chengyu Wang, Haoting Wang, Lei Shen, Jun Huang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-09-14

备注: Accepted by EMNLP 2026 main conference

💡 一句话要点

提出探索引导的提示支架以优化多模态强化学习后训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 多模态学习 提示优化 教师模型 动态调整 策略改进 数据精炼

📋 核心要点

  1. 现有的在线强化学习方法在训练提示的使用上存在不足，导致某些提示信息量饱和而另一些则难以提供有效学习信号。
  2. 本文提出了一种探索引导的提示支架框架，通过动态调整提示分布来优化多模态大语言模型的后训练过程。
  3. 实验结果表明，该方法在多个基准测试中均优于基线，尤其在领域内和领域外的任务上均有显著提升。

📝 摘要（中文）

在线强化学习中的训练提示在信息量上存在显著差异：一些提示已经饱和，而另一些则难以提供可靠的学习信号，但在标准训练中它们获得相同的回合预算。本文提出了一种探索引导的提示支架框架，动态调整多模态大语言模型后训练中的提示分布。核心是探索潜力评分（EPS），这是基于KL正则化策略改进理论的轻量级代理，能够直接从在线策略回合统计中计算而无需额外开销。我们使用教师模型生成保留原始任务意图的支架重写，以提高后续训练的信息量，将教师监督视为训练数据的精炼而非输出模仿。与GRPO结合在Geo3K和MMK12上，我们的方法在领域内和领域外基准测试中均表现优异，领域内相对提升高达9.7%，在MathVision和MMMU-Pro上分别提升11.5%和11.1%。

🔬 方法详解

问题定义：本文旨在解决在线强化学习中训练提示信息量不均的问题，现有方法未能有效区分高效与低效提示，导致学习效率低下。

核心思路：提出探索潜力评分（EPS）作为提示效用的轻量级代理，动态调整提示分布，保留低效提示的原始任务意图，通过教师模型生成支架重写以增强训练信息量。

技术框架：整体框架包括提示评估模块、教师模型生成模块和动态调整模块。提示评估模块计算EPS，教师模型生成模块负责生成支架重写，动态调整模块则根据EPS调整提示分布。

关键创新：最重要的创新在于引入EPS作为提示效用的代理，并通过教师模型进行提示重写，区别于传统方法直接丢弃低效提示。

关键设计：在实现中，EPS通过KL正则化策略改进理论计算，教师模型的设计确保重写提示保留原始任务意图，且无额外计算开销。

📊 实验亮点

实验结果显示，所提方法在Geo3K和MMK12数据集上均优于基线，领域内相对提升高达9.7%，在MathVision和MMMU-Pro上分别实现11.5%和11.1%的提升，验证了方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、自然语言处理和机器人控制等。通过优化提示的使用，能够提高模型的学习效率和性能，具有广泛的实际价值和未来影响，尤其在需要高效学习的复杂任务中表现突出。

📄 摘要（原文）

Training prompts in online reinforcement learning (RL) differ substantially in how informative they are for the current policy: some are already saturated while others are too difficult to yield reliable learning signals, yet both receive equal rollout budget under standard training. We propose an exploration-guided prompt scaffolding framework that adapts the training prompt distribution dynamically throughout RL post-training of multimodal large language models (MLLMs). Central to our approach is the $\textit{Exploration Potential Score} (EPS)$, a lightweight rollout-based proxy for prompt utility derived from KL-regularized policy improvement theory, computable directly from on-policy rollout statistics without additional overhead. Rather than discarding low-utility prompts, we use a teacher model to generate scaffolded rewrites that preserve the original task intent while making subsequent training more informative, reframing teacher supervision as training-data refinement rather than output imitation. Integrated with GRPO on Geo3K and MMK12, our method consistently outperforms the baseline on both in-domain and out-of-distribution benchmarks, achieving up to 9.7\% relative improvement in-domain and gains of 11.5\% on MathVision and 11.1\% on MMMU-Pro.