Mid-Training Language Models on Raw Video
作者: Jaedong Hwang, Xiaoqian Shen, Ernie Chang, Changsheng Zhao, Chong Zhou, Saksham Suri, Qi Qian, Zechun Liu, Lemeng Wu, Qinsi Wang, Raghuraman Krishnamoorthi, Wei Wen
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-10-08
💡 一句话要点
提出利用原始视频进行语言模型中期训练以提升多模态性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 原始视频训练 多模态学习 自监督学习 视觉理解 语言模型 性能提升 视频分析
📋 核心要点
- 现有的多模态语言模型主要依赖于配对数据，缺乏对原始视频的有效利用，导致信息提取能力受限。
- 本文提出通过将原始视频作为中期训练数据，利用无监督学习方式提升预训练语言模型的视觉理解能力。
- 实验结果表明，中期训练模型在多个视频和图像基准上均显著提升，且文本性能保持稳定，展示了该方法的有效性。
📝 摘要（中文）
多模态大型语言模型主要依赖配对的图像-文本数据或注释视频，而原始网络视频很少用于进一步训练现有语言模型。本文研究了无字幕和无文本损失的原始视频是否可以作为预训练语言模型的中期训练数据。通过将帧编码为连续的视觉标记，语言模型学习预测下一个视觉标记。我们在来自YT-Temporal-1B的原始片段上对Qwen3-1.7B进行中期训练，并将其与未进行中期训练的模型进行图像-文本指令调优。结果显示，中期训练模型在四个视频基准上平均得分高出2.9分，在十个图像基准上高出5.1分，文本性能也得以保持。
🔬 方法详解
问题定义：本文旨在解决现有多模态语言模型在利用原始视频数据时的不足，尤其是缺乏有效的自监督学习机制，导致模型性能受限。
核心思路：通过将原始视频作为中期训练数据，模型学习预测下一个视觉标记，而不依赖于文本信息，从而实现纯自监督学习，避免了自动标注带来的计算开销和噪声。
技术框架：整体架构包括视频帧的编码、视觉标记的生成和语言模型的训练。首先将视频帧编码为连续的视觉标记，然后进行中期训练，最后进行图像-文本指令调优。
关键创新：最重要的创新在于利用原始视频进行中期训练，证明了在无文本的情况下，模型仍能有效提升视觉理解能力，与传统依赖文本的训练方法形成鲜明对比。
关键设计：在训练过程中，采用了特定的损失函数来优化视觉标记的预测，确保模型在自监督学习中能够快速收敛，并且在训练的30%内实现性能提升。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，中期训练模型在四个视频基准上平均得分高出2.9分，在十个图像基准上高出5.1分，展现出显著的性能提升。同时，文本性能在14个基准上保持在48.9，与未中期训练模型的48.0相比，表明该方法有效且稳定。
🎯 应用场景
该研究的潜在应用领域包括视频理解、智能监控、自动内容生成等。通过提升模型对原始视频的理解能力，可以在多模态交互、信息检索等方面带来显著的实际价值，推动相关技术的进步和应用。未来，该方法可能会影响视频分析和处理的研究方向，促进更高效的自监督学习技术的发展。
📄 摘要（原文）
Multimodal large language models learn mostly from paired image-text data or annotated video, and raw web video is rarely used to further train an existing language model. We study whether raw video, with no captions and no text loss, can serve as mid-training data for a pretrained language model. Frames are encoded into continuous visual tokens, and the language model learns to predict the next visual token. We mid-train Qwen3-1.7B on raw clips from YT-Temporal-1B and then apply the same image-text instruction tuning to it and to the model without mid-training, so that the two differ only in mid-training. The mid-trained model scores 2.9 points higher on average across four video benchmarks and 5.1 points higher across ten image benchmarks, spanning perception, document, and chart tasks. Text performance is preserved even though mid-training includes no text, with an average of 48.9 across 14 text benchmarks compared with 48.0 for the model without mid-training. Analyses across training show that the image and video gains emerge within 30% of training and plateau thereafter, varying by less than 0.5 points. Predicting captions fails to outperform next-visual-token prediction, demonstrating that video mid-training can remain purely self-supervised without the computational overhead or labeling noise of automated captioning.