AdaC-GRPO: Towards Mastering Long-Horizon Visual Sudoku Puzzles via Adaptive Curriculum Learning

📄 arXiv: 2610.13184v1 📥 PDF

作者: Sida Li, Yuanxin Liu, Linli Yao, Shicheng Li, Xu Sun, Haoli Bai, Xiaohui Li

分类: cs.AI

发布日期: 2026-10-09

💡 一句话要点

提出AdaC-GRPO以解决长远视觉数独难题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间跨度推理 视觉数独 自适应课程学习 强化学习 多模态大语言模型

📋 核心要点

  1. 现有的多模态大语言模型在处理复杂的长距离依赖时表现不佳，导致在长时间跨度任务中成功率接近零。
  2. 提出的AdaC-GRPO方法通过动态构建训练批次，利用在线回放准确性来跟踪模型的“最近发展区”，从而提高学习效率。
  3. 实验结果显示，AdaC-GRPO使Qwen2.5-VL-7B的性能接近Gemini-2.5-Flash，并显著缩小了与Gemini-2.5-Pro的准确性差距。

📝 摘要（中文）

尽管可验证奖励的强化学习（RLVR）在大型语言模型中的推理能力有所提升，但在长时间跨度的多模态任务中的有效性仍未得到充分探索。视觉数独难题是一项具有代表性的挑战，要求在局部约束和全局依赖链上进行多步推理。为此，本文引入了FG-Sudoku，一个按网格大小和所需推理步骤分类的细粒度基准。评估结果显示，前沿的多模态大语言模型在复杂的长距离依赖（例如9*9数独）上表现不佳。为此，本文提出了自适应课程组相对策略优化（AdaC-GRPO），通过在线回放准确性动态构建训练批次，克服了标准RLVR的奖励稀疏问题。实验表明，AdaC-GRPO使Qwen2.5-VL-7B的性能接近Gemini-2.5-Flash，并缩小了62.2%的整体准确性差距。

🔬 方法详解

问题定义：本文旨在解决长时间跨度的视觉数独难题，现有的多模态大语言模型在处理复杂的长距离依赖时表现不佳，导致在此类任务中的成功率极低，奖励稀疏问题严重。

核心思路：提出的AdaC-GRPO方法通过动态构建训练批次，跟踪模型的“最近发展区”，以适应模型的学习进度，克服传统方法的刚性调度问题。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。在训练阶段，通过在线回放准确性动态调整训练批次，以提高模型的学习效率和准确性。

关键创新：AdaC-GRPO的核心创新在于其动态课程学习策略，能够实时调整训练内容，显著提高模型在长距离依赖任务中的表现，与传统的静态调度方法形成鲜明对比。

关键设计：在参数设置上，AdaC-GRPO采用了在线回放机制，损失函数设计上注重对长距离依赖的优化，网络结构则基于现有的多模态大语言模型进行改进，以适应数独推理的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用AdaC-GRPO后，Qwen2.5-VL-7B的性能接近Gemini-2.5-Flash，整体准确性差距缩小了62.2%。此外，该方法在不同模型（如InternVL-3.5和Qwen3-VL）上的通用性也得到了验证，显示出良好的适应性。

🎯 应用场景

该研究的潜在应用领域包括教育、游戏设计和人工智能推理系统等。通过提高模型在复杂推理任务中的表现，能够为数独游戏的自动解答、教育工具的开发以及智能助手的推理能力提升提供支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

While reinforcement learning with verifiable reward (RLVR) enhances reasoning in large language models, its efficacy in long-horizon multimodal tasks remains underexplored. Visual Sudoku puzzles pose a representative challenge, requiring multi-step deductive reasoning over both local constraints and global dependency chains. To this end, we introduce FG-Sudoku, a fine-grained benchmark categorized by grid size and required deductive steps. Evaluations reveal that frontier MLLMs fail on complex long-range dependencies (e.g., 9*9 puzzles). During post-training, this near-zero success rate causes severe reward sparsity, halting standard RLVR. We propose Adaptive Curriculum Group Relative Policy Optimization (AdaC-GRPO) to overcome this. Unlike rigid or prior-based schedules, AdaC-GRPO dynamically constructs training batches by tracking the model's "Zone of Proximal Development" via online rollout accuracy. Experiments demonstrate that AdaC-GRPO enables Qwen2.5-VL-7B to approach the performance of Gemini-2.5-Flash while bridging 62.2% of the overall accuracy gap to Gemini-2.5-Pro, with its generalizability further validated across InternVL-3.5 and Qwen3-VL.