Long-to-Short Video Evidence Reasoning for Grounded Question Answering

📄 arXiv: 2609.15224v1 📥 PDF

作者: Kaiyan Chen, Junbin Xiao, Xun Yang

分类: cs.CV

发布日期: 2026-09-14

💡 一句话要点

提出LOVER模型以解决视频证据推理中的问答问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 有根问答 强化学习 证据推理 时间戳渲染 多模态学习 GQA奖励

📋 核心要点

  1. 现有视频推理模型在处理长视频证据时存在效率低下和准确性不足的问题，难以有效支持有根问答任务。
  2. LOVER模型通过长短视频证据课程学习、GQA奖励和自适应时间戳渲染三项创新设计，提升了视频证据推理的能力。
  3. LOVER在NExT-GQA和ReXTime基准上取得了新的最先进结果，显著提高了问答和定位的性能。

📝 摘要（中文）

我们提出了LOVER，一个用于基于视频的有根问答（GQA）的长短视频证据强化模型。LOVER在现有基于强化学习（RL）的视频推理模型上有三项创新：首先，长短视频证据课程学习，按照证据持续时间组织RL训练，逐步适应模型从长时间范围的推理到短期推理；其次，GQA奖励，强调IoP奖励在证据识别中的优势，而非严格的时间跨度重叠；最后，自适应时间戳渲染，利用背景感知的位置和颜色选择自适应地将时间戳渲染到视频帧上，以增强时间可观察性。这三项设计是模型无关且相互促进的，显著提升了不同基础模型的问答、定位和有根问答性能。值得注意的是，基于Time-R1的LOVER在流行的GQA基准NExT-GQA和ReXTime上达到了新的最先进结果。全面的消融研究进一步验证了我们三项创新组件的有效性。

🔬 方法详解

问题定义：本论文旨在解决基于视频的有根问答（GQA）中，现有方法在长视频证据推理时的效率和准确性不足的问题。现有模型在处理长时间视频时，往往无法有效识别和利用关键信息，导致问答性能下降。

核心思路：LOVER模型的核心思路是通过长短视频证据课程学习逐步适应模型的推理能力，同时引入GQA奖励来优化证据识别，最后通过自适应时间戳渲染增强视频帧的时间可观察性。这种设计旨在提高模型在不同时间尺度下的推理能力。

技术框架：LOVER的整体架构包括三个主要模块：长短视频证据课程学习模块、GQA奖励模块和自适应时间戳渲染模块。首先，课程学习模块根据证据的持续时间组织训练；其次，GQA奖励模块通过IoP奖励优化证据识别；最后，自适应渲染模块将时间戳动态渲染到视频帧中。

关键创新：LOVER的三项关键创新在于长短视频证据课程学习、GQA奖励和自适应时间戳渲染。这些创新与现有方法的本质区别在于，它们不仅提高了模型的适应性，还增强了时间信息的可用性，从而提升了整体性能。

关键设计：在参数设置上，LOVER采用了背景感知的位置和颜色选择来优化时间戳的渲染效果。损失函数方面，模型引入了IoP奖励机制，以更好地支持证据识别，而非仅依赖于传统的IoU重叠度量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LOVER在NExT-GQA和ReXTime基准上取得了新的最先进结果，显著提升了问答性能，具体表现为在NExT-GQA上提升了X%，在ReXTime上提升了Y%。这些结果表明LOVER在视频证据推理任务中的有效性和优越性。

🎯 应用场景

LOVER模型在视频理解和有根问答领域具有广泛的应用潜力，能够为教育、娱乐和安全监控等多个领域提供更为精准的问答系统。随着视频内容的不断增加，LOVER的设计理念和技术创新将为未来的多模态学习和人机交互提供重要的技术支持。

📄 摘要（原文）

We present LOVER, a \underline{L}ong to sh\underline{O}rt \underline{V}ideo \underline{E}vidence \underline{R}einforced model for grounded question answering (GQA). LOVER highlights three innovations over existing reinforcement-learning (RL) based video reasoning models: (1) \textbf{Long-to-short Video Evidence Curriculum Learning}, which organizes RL training according to evidence duration and progressively adapts the model from long-range grounding to short-term reasoning; (2) \textbf{GQA Rewards}, which underscore the benefit of IoP reward over IoU for evidence spotting rather than strict temporal span overlap; (3) \textbf{Adaptive Timestamp Rendering}, which adaptively renders timestamps onto video frames using background-aware position and color selection to enhance temporal observability. The three designs are model-agnostic and reciprocal. They effectively improve QA, grounding, and grounded QA performance over different backbones. Notably, LOVER built on Time-R1 achieves new state-of-the-art (SOTA) results among open-source models on popular GQA benchmarks: NExT-GQA and ReXTime. Comprehensive ablation studies further validate the effectiveness of our three innovative components.