A Principled Optimal Transport Framework for Frame Selection in Long Video Understanding
作者: Ziwei Zhao, Yuhang Liu
分类: cs.CV
发布日期: 2026-10-20
备注: Accepted by NeurIPS 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出OTFS框架以解决长视频理解中的帧选择问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 最优传输 帧选择 多模态学习 无训练方法
📋 核心要点
- 现有的帧选择方法多依赖启发式规则，缺乏明确的优化目标，难以有效捕捉复杂推理所需的异质证据。
- 本文提出OTFS框架，将长视频帧选择视为结构化证据分配问题，利用最优传输理论进行优化。
- 实验结果显示，OTFS在多个长视频理解基准上表现优异，超越了现有的无训练基线，验证了其有效性。
📝 摘要（中文）
长视频理解与多模态大语言模型的结合受到视频长度与模型视觉上下文预算不匹配的限制，因此帧选择变得至关重要。现有的查询感知方法通常依赖启发式流程，给帧分配一维查询条件分数，然后通过采样、排序或提取规则形成最终子集。尽管在实践中有效，但这些方法通常没有明确的优化目标，难以捕捉复杂推理所需的异质证据。本文从原则优化的角度重新审视长视频帧选择，将其表述为结构化证据分配问题，并提出了OTFS，一个将多种证据源映射到视频帧的最优传输框架。通过半不平衡熵最优传输目标和高效求解器OTFS-Sinkhorn，OTFS提供了一个实用的两阶段无训练管道。实验表明，OTFS在三个长视频理解基准上始终优于强大的无训练基线。
🔬 方法详解
问题定义：本文解决长视频理解中的帧选择问题，现有方法往往依赖启发式规则，缺乏明确的优化目标，导致无法有效捕捉复杂推理所需的异质证据。
核心思路：论文将帧选择问题重新定义为结构化证据分配问题，提出OTFS框架，通过最优传输理论将多种证据源映射到视频帧，确保重要证据得到保留，而冗余帧则不需吸收质量。
技术框架：OTFS框架包括两个主要阶段：首先，使用半不平衡熵最优传输目标进行证据分配；其次，结合动态规划进行覆盖感知的子集提取，形成一个高效的无训练管道。
关键创新：OTFS的核心创新在于将长视频帧选择问题视为最优传输问题，利用半不平衡的目标函数来处理证据的异质性，这与传统方法的启发式规则有本质区别。
关键设计：在OTFS中，采用了半不平衡熵最优传输目标和高效求解器OTFS-Sinkhorn，确保了在处理复杂证据时的高效性和准确性，同时结合了动态规划技术以优化子集提取过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OTFS在三个长视频理解基准上均优于强大的无训练基线，具体性能提升幅度达到XX%，验证了其在帧选择任务中的有效性和实用性。
🎯 应用场景
该研究在长视频理解领域具有广泛的应用潜力，尤其是在视频摘要、内容检索和多模态学习等场景中。通过有效的帧选择，能够显著提升模型的推理能力和处理效率，推动相关技术的发展和应用。未来，OTFS框架可能会被扩展到其他类型的多模态数据处理任务中。
📄 摘要（原文）
Long-video understanding with multimodal LLMs is fundamentally constrained by the mismatch between video length and the model's limited visual context budget, making frame selection essential for practical reasoning. Existing query-aware methods typically rely on heuristic pipelines: they assign one-dimensional query-conditioned scores to frames and then apply sampling, ranking, or extraction rules to form the final subset. While effective in practice, such methods are generally not derived from an explicit optimization objective and struggle to capture the heterogeneous evidence required for complex reasoning. In this paper, we revisit long-video frame selection from a principled optimization perspective. We formulate it as a structured evidence-allocation problem and propose OTFS, an optimal transport framework that maps multiple evidence sources onto video frames. To reflect the asymmetry of this problem---important evidence should be preserved, whereas redundant frames need not absorb mass---we instantiate this view with a semi-unbalanced entropic optimal transport objective and an efficient solver, OTFS-Sinkhorn. Combined with an exact dynamic program for coverage-aware subset extraction, OTFS yields a practical two-stage training-free pipeline. We further show that, in the single-source case, our formulation induces a Gibbs-type distribution over frames, making Q-Frame's temperature-scaled distribution a special case of our framework while also providing a broader perspective for understanding related prior methods. Experiments on three long-video understanding benchmarks show that OTFS consistently outperforms strong training-free baselines. Codes are available at https://github.com/barry664/OTFS.