Adaptive Length Image Tokenization via Recurrent Allocation

📄 arXiv: 2411.02393v1 📥 PDF

作者: Shivam Duggal, Phillip Isola, Antonio Torralba, William T. Freeman

分类: cs.CV, cs.AI, cs.LG, cs.RO

发布日期: 2024-11-04

备注: Code at: https://github.com/ShivamDuggal4/adaptive-length-tokenizer

💡 一句话要点

提出基于循环分配的自适应长度图像Token化方法，提升视觉系统表征效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像Token化 自适应长度表示 循环神经网络 图像压缩 图像理解

📋 核心要点

  1. 现有视觉系统为图像分配固定长度的表示，忽略了信息内容差异，效率较低。
  2. 提出一种循环分配方法，通过递归处理和自适应增加Token数量，学习图像的可变长度Token表示。
  3. 实验表明，该方法Token数量与图像熵相关，且能进行对象/部分发现，具有Token专业化潜力。

📝 摘要（中文）

本文提出了一种学习图像可变长度Token表示的方法。该编码器-解码器架构递归地处理2D图像Token，通过多次循环迭代将其提炼成1D潜在Token。每次迭代都会细化2D Token，更新现有的1D潜在Token，并通过添加新Token自适应地增加表征容量。这使得图像能够被压缩成32到256个可变数量的Token。通过重建损失和FID指标验证了该Token化器的有效性，结果表明Token数量与图像熵、熟悉度和下游任务需求相符。循环Token处理以及每次迭代中表征容量的增加显示出Token专业化的迹象，揭示了对象/部分发现的潜力。

🔬 方法详解

问题定义：现有视觉系统通常使用固定长度的向量来表示图像，这忽略了图像本身的信息复杂度和冗余度。对于简单的图像，固定长度的表示可能造成资源浪费；而对于复杂的图像，则可能造成信息损失。因此，如何根据图像的内容自适应地调整表示长度是一个关键问题。

核心思路：本文的核心思路是模仿人类视觉系统和大型语言模型，根据图像的熵、上下文和熟悉度来分配不同的表征容量。具体来说，通过循环迭代的方式，逐步提炼图像的Token表示，并根据需要增加Token的数量，从而实现可变长度的图像表示。

技术框架：该方法采用编码器-解码器架构。编码器负责将2D图像Token转换为1D潜在Token，解码器则负责从1D潜在Token重建图像。整个过程通过多次循环迭代进行，每次迭代都会更新2D Token和1D潜在Token，并根据需要添加新的Token。这种循环迭代的方式使得模型能够逐步提炼图像的表示，并自适应地调整表示长度。

关键创新：该方法最重要的创新点在于提出了基于循环分配的自适应长度图像Token化方法。与传统的固定长度Token化方法不同，该方法能够根据图像的内容动态地调整Token的数量，从而更有效地表示图像的信息。此外，循环迭代的处理方式也使得模型能够逐步提炼图像的表示，并发现图像中的对象和部分。

关键设计：该方法使用循环神经网络（RNN）来处理Token序列，并使用注意力机制来更新Token表示。损失函数包括重建损失和正则化项，其中重建损失用于保证图像的重建质量，正则化项用于控制Token的数量。具体的网络结构和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够有效地将图像压缩成可变数量的Token，且Token数量与图像的熵、熟悉度和下游任务需求相符。与固定长度的Token化方法相比，该方法在重建损失和FID指标上均取得了更好的性能。此外，实验还表明，该方法具有Token专业化的潜力，能够发现图像中的对象和部分。

🎯 应用场景

该研究成果可应用于图像压缩、图像检索、目标检测等领域。自适应长度的图像表示能够更有效地利用存储空间和计算资源，提高图像处理的效率。此外，该方法还有助于发现图像中的对象和部分，为图像理解提供更深入的信息。

📄 摘要（原文）

Current vision systems typically assign fixed-length representations to images, regardless of the information content. This contrasts with human intelligence - and even large language models - which allocate varying representational capacities based on entropy, context and familiarity. Inspired by this, we propose an approach to learn variable-length token representations for 2D images. Our encoder-decoder architecture recursively processes 2D image tokens, distilling them into 1D latent tokens over multiple iterations of recurrent rollouts. Each iteration refines the 2D tokens, updates the existing 1D latent tokens, and adaptively increases representational capacity by adding new tokens. This enables compression of images into a variable number of tokens, ranging from 32 to 256. We validate our tokenizer using reconstruction loss and FID metrics, demonstrating that token count aligns with image entropy, familiarity and downstream task requirements. Recurrent token processing with increasing representational capacity in each iteration shows signs of token specialization, revealing potential for object / part discovery.