Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding

📄 arXiv: 2610.29552v1 📥 PDF

作者: Xin Zhang, Haochen Wang, Beibei Lin, Zhaoxiang Zhang, Robby T. Tan, Jason Li, Dacheng Tao

分类: cs.CV

发布日期: 2026-10-21

备注: 31 pages, 14 figures, 16 tables

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Generalized CycleGRPO以解决细粒度多模态理解与定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细粒度多模态理解 强化学习 区域定位 视频分析 自我评估

📋 核心要点

  1. 现有方法通常将区域理解与语言定位分开处理，导致多模态理解的效率低下。
  2. 提出Generalized CycleGRPO，通过统一的强化学习框架实现区域理解与语言定位的结合。
  3. CycleGRPO在GroundingSuite和GRES上分别将gIoU提升至68.2%和78.7%，在Charades和DOVE上也取得了显著进展。

📝 摘要（中文）

细粒度多模态智能要求模型既能理解指定区域，又能从语言中定位该区域。现有方法通常采用分离的目标和任务特定的注释进行学习。本文提出了Generalized CycleGRPO，这是第一个统一的强化学习框架，结合了空间、时间和时空域的区域理解与定位。给定一个区域，多模态大语言模型生成候选描述，并将每个描述定位以重建输入区域。重建重叠为字幕提供了可验证的奖励，而个体定位奖励则改善了逆映射。该方法扩展了从图像掩码和框到视频间隔和时间戳空间证据的循环，无需参考字幕或外部语言模型评估者。实验结果表明，CycleGRPO在多个基准上显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决细粒度多模态理解中区域理解与语言定位的分离问题。现有方法在这两方面的学习通常是独立的，导致信息利用不充分。

核心思路：提出的Generalized CycleGRPO框架通过强化学习将区域理解与语言定位结合在一起，利用重建重叠作为奖励信号，促进模型的自我评估与优化。

技术框架：该框架包括多个模块：首先，利用多模态大语言模型生成候选描述；其次，定位每个描述以重建输入区域；最后，通过重建重叠和个体定位奖励进行优化。

关键创新：CycleGRPO的主要创新在于其统一的强化学习框架，能够同时处理空间、时间和时空域的理解与定位任务，突破了传统方法的局限。

关键设计：在设计上，CycleGRPO采用了无参考字幕的自我评估机制，利用重建重叠和个体定位奖励作为损失函数，确保模型在多模态任务中的一致性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CycleGRPO在GroundingSuite上将SAMTok的整体gIoU从57.5%提升至68.2%，在GRES上从71.2%提升至78.7%。在时间任务中，CycleGRPO在Charades上实现51.9%的tIoU，在DOVE上达到33.3%的Temporal Evidence Coverage，相较于Qwen3-VL的45.6%和14.8%有显著提升，验证了区域-文本循环一致性的重要性。

🎯 应用场景

该研究在细粒度多模态理解领域具有广泛的应用潜力，特别是在视频分析、智能监控和人机交互等场景中。通过提升模型的理解与定位能力，可以实现更为精准的信息提取与决策支持，推动相关技术的进步与应用。未来，该方法可能在自动驾驶、智能家居等领域发挥重要作用。

📄 摘要（原文）

Fine-grained multimodal intelligence requires models to both understand a designated region and localize it from language. Existing methods learn these directions with separate objectives and task-specific annotations. We present Generalized CycleGRPO, the first unified reinforcement learning framework coupling region understanding and localization across spatial, temporal, and spatio-temporal domains. Given a region, a multimodal large language model generates candidate descriptions and then localizes each description to reconstruct the input region. Reconstruction overlap provides a verifiable reward for captioning, while individual localization rewards improve the inverse mapping. A common region-space formulation extends this cycle from image masks and boxes to video intervals and timestamped spatial evidence, without reference captions or an external language-model judge during reinforcement learning. In videos, the cycle encourages descriptions that distinguish a target event from similar recurrences. We introduce DOVE (Distinctive Occurrence-level Video-caption Evaluation), a human-verified contrastive benchmark for this temporal distinctiveness. CycleGRPO improves SAMTok's overall gIoU from 57.5% to 68.2% on GroundingSuite and average gIoU from 71.2% to 78.7% on GRES. For temporal tasks, it achieves 51.9% tIoU on Charades and 33.3% Temporal Evidence Coverage on DOVE, compared with 45.6% and 14.8% for the Qwen3-VL initialization. These results establish region-text cycle consistency as a general self-evaluation principle for multimodal understanding and localization. Models, code, and DOVE are available at https://devinxzhang.github.io/Generalized-CycleGRPO-Page/.