Studying Image Tokenizers as Visual Languages in Unified Multimodal Models
作者: Siting Li, Zhengyang Wang, Simon Shaolei Du, Xi Chen, Yang Liu
分类: cs.CV, cs.CL
发布日期: 2026-09-08
备注: 27 pages, 23 figures
💡 一句话要点
提出图像标记器作为视觉语言以优化多模态模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像标记器 多模态模型 视觉语言 损失分析 联合建模 任务特定损失 生成质量 文本建模
📋 核心要点
- 现有方法通常通过孤立指标评估图像标记器，未能全面理解其在多模态模型中的表现。
- 本文提出通过控制的自回归测试平台，分析多模态持续预训练中的任务特定损失与下游性能的关系。
- 研究结果表明，损失分析需按任务进行，且图像标记器选择会影响文本建模效果，提供了新的视角。
📝 摘要（中文）
图像标记器定义了统一多模态模型的“视觉语言”，但通常通过孤立的指标或生成/理解评估进行研究，这些评估未能充分捕捉视觉标记在文本联合建模中的行为。本文构建了一个控制的纯自回归测试平台，跟踪多模态持续预训练中的任务特定验证损失，分析这些损失与下游性能的关系，并研究多模态可学习性及标记器设计。研究发现，损失应按任务分析，且损失与性能关系依赖于预测的标记空间。更好的重构不一定导致更低的任务特定损失或更强的下游性能。通过案例研究，探讨了标记器设计对联合建模和下游性能的影响。
🔬 方法详解
问题定义：本文旨在解决现有图像标记器研究中对其在多模态模型中表现的片面理解，现有方法未能全面捕捉视觉标记与文本的联合建模效果。
核心思路：通过构建一个控制的纯自回归测试平台，跟踪多模态持续预训练中的任务特定验证损失，分析这些损失与下游性能的关系，从而深入研究图像和文本标记的联合建模能力。
技术框架：整体架构包括多模态持续预训练阶段，涉及文本、图像、文本到图像（T2I）和图像到文本（I2T）预测任务，利用任务特定损失进行性能评估。
关键创新：本文的主要创新在于提出了按任务分析损失的必要性，发现损失与性能关系依赖于预测的标记空间，提供了新的视角来理解图像标记器的设计与性能。
关键设计：研究中对损失函数进行了细致分析，发现I2T损失在监督微调后与生成和视觉理解性能相关性更高，同时探讨了标记器设计的三个维度：判别器、语义监督和词汇大小。
🖼️ 关键图片
📊 实验亮点
实验结果显示，任务特定损失的分析能够揭示不同标记器在多模态任务中的表现差异。特别是，I2T损失在监督微调后与生成质量和视觉理解性能的相关性显著，提供了更一致的信号。整体性能提升幅度在不同任务中表现出明显差异，强调了损失分析的重要性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过优化图像标记器的设计，可以提升多模态模型在图像生成、理解等任务中的性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Image tokenizers define the ``visual language'' of unified multimodal models, yet are commonly studied through isolated metrics or generation-/understanding-only evaluations. These evaluations do not fully capture how visual tokens behave when modeled jointly with text. We build a controlled pure-autoregressive testbed and track task-specific validation losses during multimodal continual pretraining across text, image, text-to-image (T2I), and image-to-text (I2T) prediction. We examine how these losses scale and relate to downstream performance, then use them to study multimodal learnability---how well image and text tokens are jointly modeled---and tokenizer design. We find that (1) losses should be analyzed by task, since they exhibit distinct scaling behavior and rank tokenizers differently. (2) The loss--performance relationship depends on the predicted token space: for a fixed tokenizer, T2I and I2T losses correlate with generation quality, but across tokenizers, the T2I loss--performance relationship shifts with the image-token space, whereas I2T loss, computed over a shared text vocabulary, provides a more consistent signal. I2T loss also correlates with both generation and visual understanding performance after supervised finetuning. Using losses as a lens, we show that (3) better reconstruction does not necessarily yield lower task-specific losses or stronger downstream performance, and that (4) image tokenizer choice can affect text modeling under joint optimization. As case studies, we revisit three tokenizer design axes---the discriminator, semantic supervision, and vocabulary size---to examine their effects on joint modeling and downstream performance. Together, our testbed offers a complementary perspective on image tokenizers as visual languages, highlighting their interplay with text in joint multimodal training.