CoVisco: Codec-Native Vision Encoder with Native Token Compression for Unified Image-Video Understanding
作者: Yulong Liu, Xiaotian Han, Junyuan Shang, Yuchen Ding, Zhenyu Zhang, Shuohuan Wang, Guibo Zhu, Sirui Han, Dianhai Yu
分类: cs.CV, cs.AI
发布日期: 2026-09-30
🔗 代码/项目: GITHUB
💡 一句话要点
提出CoVisco以解决长视频理解中的视觉令牌压缩问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 视觉令牌压缩 多模态学习 编码器设计 抽象令牌
📋 核心要点
- 现有视觉语言模型在处理长视频时，视觉令牌数量的增加导致计算成本高昂，影响理解效率。
- CoVisco通过引入编解码器原生输入支持和分段注意力机制，实现了长视觉输入的高效编码，避免了密集补丁交互。
- 在四段64帧的评估设置中，CoVisco仅使用400个视觉令牌就达到了接近甚至超越现有方法OneVision-Encoder的性能。
📝 摘要（中文）
视觉语言模型面临一个基本的扩展瓶颈：视觉令牌的数量随着时间持续和空间分辨率的增加而增长，使得长视频理解在视觉编码器和语言模型中变得昂贵。现有方法通常在密集编码后压缩视觉令牌，导致训练期间使用的表示与部署时所需的紧凑接口之间存在不匹配。我们提出了CoVisco，一种具有原生令牌压缩的编解码器原生视觉编码器，用于统一的图像-视频理解。通过结合编解码器原生输入支持与分段注意力，CoVisco能够在单次前向传递中编码长视觉输入，而无需在所有帧之间形成密集的补丁交互。每个时间段配备可学习的抽象令牌，以学习紧凑的段级表示，同时细粒度的补丁令牌在整个编码器中保持可用。交替的段内和抽象通信层通过抽象令牌通道保留视频级上下文。经过565M图像-文本对和6.4M视频的对比目标预训练，CoVisco在视频导向嵌入和多模态理解基准上表现出竞争力。
🔬 方法详解
问题定义：论文旨在解决长视频理解中视觉令牌数量激增导致的计算资源消耗和效率低下的问题。现有方法在密集编码后进行视觉令牌压缩，造成训练与部署阶段的表示不匹配。
核心思路：CoVisco通过结合编解码器原生输入和分段注意力机制，能够在单次前向传递中高效编码长视频输入，避免了全帧之间的密集交互。每个时间段使用可学习的抽象令牌来表示段级信息，同时保留细粒度的补丁令牌以供需要时使用。
技术框架：CoVisco的整体架构包括输入层、编码层和输出层。输入层支持编解码器原生输入，编码层通过分段注意力机制处理长视频，输出层则通过选择器提供紧凑的视觉接口。
关键创新：CoVisco的主要创新在于引入了抽象令牌和细粒度补丁令牌的结合使用，能够在保持视频上下文的同时减少视觉上下文的负担。这种设计与现有方法的密集补丁交互形成了鲜明对比。
关键设计：在设计中，CoVisco使用了可学习的抽象令牌和细粒度补丁令牌的交替层，采用轻量级选择器来决定输出的令牌类型，确保在不同任务中灵活应对。
🖼️ 关键图片
📊 实验亮点
在四段64帧的评估设置中，CoVisco仅使用400个视觉令牌，达到了接近甚至超越OneVision-Encoder的性能，展示了其在视频理解任务中的有效性。通过选择补丁令牌，进一步提升了细粒度视频推理能力，显示出显著的性能提升。
🎯 应用场景
CoVisco在长视频理解、视频内容分析和多模态学习等领域具有广泛的应用潜力。其高效的视觉令牌处理能力可以用于实时视频监控、自动驾驶系统中的视觉理解，以及社交媒体平台中的视频内容推荐等场景，提升用户体验和系统性能。
📄 摘要（原文）
Vision-language models face a fundamental scaling bottleneck: the number of visual tokens grows with both temporal duration and spatial resolution, making long-video understanding expensive for the vision encoder and the language model. Existing methods often compress visual tokens after dense encoding, creating a mismatch between the representation used during training and the compact interface required at deployment. We present CoVisco, a codec-native vision encoder with native token compression for unified image-video understanding. By combining codec-native input support with segmented attention, CoVisco can encode long visual inputs in a single forward pass without forming dense patch-to-patch interactions across all frames. Each temporal segment is equipped with learnable abstract tokens that learn a compact segment-level representation, while fine-grained patch tokens remain available throughout the encoder. Alternating intra-segment and abstract-communication layers preserve video-level context through the abstract-token channel. A lightweight selector further exposes either abstract tokens alone or abstract tokens augmented with a runtime-selected subset of patch tokens, yielding a compact visual interface that reduces the visual context and prefill burden of downstream MLLMs while retaining fine-grained evidence when needed. Pretrained with contrastive objectives on 565M image--text pairs and 6.4M videos, CoVisco shows competitive performance on video-oriented embedding and multimodal understanding benchmarks. In the evaluated four-segment, 64-frame setting, abstract-only inference uses only 400 visual tokens while achieving video-understanding performance close to, and on some benchmarks exceeding, OneVision-Encoder. Selected patch tokens further improve fine-grained video reasoning. Project URL: https://github.com/ernie-research/CoVisco.git