Behavior Pack Optimization for Video MLLM Post-Training

📄 arXiv: 2610.03141v1 📥 PDF

作者: Zhaolu Kang, Shiyu Liu, Tailong Luo, Wei Zhang, Yingjie He, Lei Wei, Guansu Wang, Liang He, Siheng Wang, Guangyuan Dong, Jiaqi Su, Shuang Chen, Haoyu Ji, Qishi Zhan, Kaiyue Zhou

分类: cs.CV

发布日期: 2026-10-02

备注: NeurIPS 2026 poster

💡 一句话要点

提出行为包优化以提升视频多模态大语言模型的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频问答 多模态学习 行为包优化 时间推理 模型稳定性 联合评分 人工智能 机器学习

📋 核心要点

  1. 现有视频多模态大语言模型在处理时间证据时表现不足，导致对视频内容的理解不够准确。
  2. 本文提出行为包优化（BPO），通过联合评分多个视角的输出，增强模型在不同情况下的稳定性和敏感性。
  3. 实验结果显示，BPO在多个基准上提升了Qwen2.5-VL-7B-Instruct的宏观准确率和F1得分，验证了其有效性。

📝 摘要（中文）

视频多模态大语言模型（MLLMs）在视频问答基准测试中表现优异，但现有方法在帧重排、遮挡关键对象等情况下预测结果几乎不变，显示出模型对时间证据的依赖不足。本文提出行为包优化（BPO），通过对不同视角下的输出进行联合评分，增强模型的稳定性和敏感性。实验结果表明，BPO在多个基准上显著提升了模型的准确性，尤其在时间困难子集上表现突出，为视频推理领域提供了新的视角和方法。

🔬 方法详解

问题定义：本文旨在解决视频多模态大语言模型在处理时间证据时的不足，现有方法在不同视角下的预测结果缺乏一致性，导致模型对时间信息的敏感性不足。

核心思路：提出行为包优化（BPO），通过对不同视角的输出进行联合评分，要求模型在无关干预时保持稳定，在关键证据缺失时表现敏感，并在无证据时选择不作答。

技术框架：BPO的整体架构包括行为包的生成、评分和优化三个主要模块。首先，根据问题类型选择反事实视角生成行为包，然后对包内输出进行联合评分，最后通过优化算法调整模型参数以提升性能。

关键创新：BPO的核心创新在于引入了锚点相对优势的概念，使用原始视角的响应作为每个提示的参考，而非混合视角的均值，从而提高了小包大小下的目标稳定性。

关键设计：在损失函数设计上，BPO结合了稳定性、敏感性和不作答的要求，确保模型在不同情况下的表现符合预期。同时，实验中对包大小和视角选择进行了细致的调优，以验证模型的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，BPO在TempCompass、MVBench和NExT-QA等基准上显著提升了Qwen2.5-VL-7B-Instruct的宏观准确率4.7个百分点，时间困难子集提升7.8个百分点，F1得分提升20.0个百分点，相较于同一SFT检查点的基线方法表现更为优越。

🎯 应用场景

该研究的潜在应用领域包括视频问答系统、智能监控、视频内容分析等。通过提升模型对时间信息的理解能力，BPO有助于实现更准确的视频推理，推动多模态人工智能的发展。未来，BPO方法可能会被广泛应用于其他多模态学习任务，促进跨领域的技术进步。

📄 摘要（原文）

Video multimodal large language models (MLLMs) keep climbing video question answering benchmarks, yet shuffling the frames, masking the segment that supports the answer, or occluding the target object barely changes their predictions. The accuracy rests on appearance and language priors, not on the temporal evidence the question asks for. We trace this to the unit of post-training: rewards are computed on a single response to the original clip, so the model is never asked to behave consistently across views. We propose Behavior Pack Optimization (BPO), which replaces the single response with a behavior pack of outputs across counterfactual views chosen by question type, scored jointly. The pack reward asks for stability when the intervention is irrelevant, sensitivity when key evidence is removed, and abstention when no evidence remains. To keep this objective stable at small pack sizes, BPO uses an anchor-relative advantage: the response on the original view serves as a per-prompt reference instead of a group mean over mixed views. On TempCompass, MVBench, and NExT-QA, BPO improves the macro accuracy of Qwen2.5-VL-7B-Instruct by 4.7 pp, the temporal-hard subset by 7.8 pp, and abstention F1 by 20.0 pp over a budget-matched vanilla GRPO baseline from the same SFT checkpoint. The gains transfer to Video-MME, LongVideoBench, and to LLaVA-Video-7B; ablations confirm they follow the view sets, not the rollout count. We hope this pack-level perspective offers a useful starting point for the video MLLM and multimodal post-training community as the field moves toward evidence-grounded video reasoning.