Where Do Long Captions Fail? Position-Aware Diagnosis and Reinforcement Learning for Detailed Image Captioning
作者: Yuanze Hu, Zhichao Yang, Junwei Jing, Xin Yang, Wenxuan Liu, Tinghai Zhang, Jia Fu, Hongzhi Zhang, Xiangyu Wu, Ruiming Tang, Tingting Gao, Han Li
分类: cs.CV
发布日期: 2026-10-22
备注: Accepted at NeurIPS 2026. 38 pages, 3 figures; includes references, appendices, and the paper checklist
💡 一句话要点
提出位置感知诊断与强化学习以解决长文本图像描述问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像描述 位置感知 强化学习 视觉语言模型 多模态学习
📋 核心要点
- 现有的长文本图像描述方法在生成过程中容易出现不支持的具体性和模糊的语言，导致描述质量下降。
- 本文提出了一种位置感知的标准表示法，并基于此开发了PAGER，通过强化学习修复长文本描述中的失败。
- 实验结果显示，PAGER在位置感知的基础上显著提高了描述的质量和偏好，同时保持了全球描述的竞争力。
📝 摘要（中文）
详细的图像描述通常被视为一个数量问题：模型需要提及更多的视觉事实，同时避免虚构。然而，自回归的视觉语言模型（VLMs）生成的描述作为有序序列，后续生成可能在较弱或噪声较大的视觉基础上进行。因此，长文本描述的研究不仅应关注提及的事实，还应关注它们出现的位置。本文引入了一种位置感知的标准表示法，将密集的人类参考分解为原子视觉声明，并验证生成的描述与这些声明的一致性。基于此，提出了PAGER（位置感知的基础证据强化学习），通过独立信号修复长文本描述中的失败。实验表明，PAGER在位置感知的基础上改善了描述质量。
🔬 方法详解
问题定义：本文旨在解决长文本图像描述中生成的内容支持性不足和模糊性的问题。现有方法往往忽视了生成内容的位置信息，导致描述的质量下降。
核心思路：论文提出了一种位置感知的标准表示法，通过将人类参考分解为原子视觉声明，来验证生成的描述，并引入PAGER模型，通过强化学习修复描述中的失败。
技术框架：整体架构包括位置感知的标准表示法、生成模型和强化学习模块。生成模型基于视觉输入生成描述，而强化学习模块则根据描述的质量反馈进行调整。
关键创新：最重要的创新在于引入了位置感知的标准表示法和PAGER模型，使得模型能够针对描述中的具体位置进行优化，从而显著提高描述的质量。
关键设计：在PAGER模型中，采用了独立的信号来评估支持的细粒度证据、证据承载的尾部延续、声明覆盖率和内容感知的长度控制，确保生成的描述在各个方面都能得到优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PAGER在详细描述基准上显著提高了位置感知的基础上生成的描述质量，具体表现为在位置-wise grounding和pairwise caption preference上均有提升，同时保持了全球描述质量的竞争力，显示出较强的实用性。
🎯 应用场景
该研究的潜在应用领域包括自动图像描述生成、辅助视觉障碍人士的技术开发以及社交媒体内容生成等。通过提高图像描述的质量，能够更好地满足用户需求，提升用户体验，未来可能在多模态学习和人机交互中发挥重要作用。
📄 摘要（原文）
Detailed image captioning is usually framed as an amount problem: a model should mention more visual facts while avoiding hallucination. However, autoregressive VLMs generate captions as ordered sequences, and later generations may be produced under weaker or noisier visual grounding. We therefore argue that long-form captioning should be studied not only by what facts are mentioned, but also by where they appear. We introduce a position-aware rubric representation that decomposes dense human references into atomic visual claims, verifies generated captions against those claims, and induces a quartile-wise composition of supported, hallucinated, and generic content. This lens reveals two qualitatively different failures in long captions: models tend to produce unsupported specificity in the middle, while the final portion often escapes into vague, non-evidential language rather than simply accumulating more hallucination. A same-reference human control does not exhibit these patterns; additional human audits examine the visual validity of the induced labels. Motivated by this diagnosis, we propose PAGER (Position-Aware Grounded Evidence Reinforcement), a GRPO training objective with separate signals for supported fine-grained middle evidence, evidence-bearing tail continuation, claim coverage, and content-aware length control. The result is a closed loop: the same ordered claim representation identifies where long captions fail and supplies the position-specific reward needed to repair those failures. Experiments on detailed-caption benchmarks show that PAGER improves position-wise grounding and pairwise caption preference while preserving competitive global caption quality.