Out of Sight, Still in Mind: Token Compression for Omni-LLMs
作者: Suho Yoo, Youngjoon Jang, Hyebin Cho, Joon Son Chung
分类: cs.CV
发布日期: 2026-07-23
备注: Preprint
💡 一句话要点
提出ReMo框架以降低Omni-LLMs的输入token成本
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉token压缩 信息对齐 文本代理 推理效率
📋 核心要点
- 现有的Omni-LLMs在处理多模态输入时，视觉token的数量庞大且冗余，导致输入成本高昂。
- 提出ReMo框架，通过在模态间重新分配信息，压缩视觉token，保留关键信息以降低输入成本。
- 在Qwen2.5-Omni模型上，ReMo成功去除54%的输入token，且在多个基准测试中准确性有所提升。
📝 摘要（中文）
本文旨在降低Omni-modal大语言模型（Omni-LLMs）在推理时的输入token成本。Omni-LLMs能够同时处理音频、视频和文本，但三种输入流的成本极不平衡，视觉token占据了绝大多数且高度冗余。为此，本文提出了ReMo框架，通过在不同模态间重新分配信息来压缩视觉token：仅保留那些在其他模态中未出现的信息。ReMo通过两种方式实现这一目标：首先，将音频和视频对齐到一个共同的嵌入空间，移除已被音频或其他视觉token解释的视觉token；其次，用简洁的文本代理替换对象级视觉token，以更少的token传达相同内容。在Qwen2.5-Omni的两个模型规模上，ReMo去除了54%的输入token，且准确性没有下降，甚至略微超过了全token模型，达到了101.2%和101.3%的平均准确性。
🔬 方法详解
问题定义：本文解决Omni-LLMs在推理时输入token成本过高的问题，尤其是视觉token的冗余性导致的资源浪费。现有方法未能有效压缩视觉信息，造成输入流的不平衡。
核心思路：ReMo框架的核心思想是通过在不同模态间重新分配信息来压缩视觉token，仅保留那些在其他模态中未被解释的信息，从而降低输入token的数量。
技术框架：ReMo的整体架构包括两个主要模块：首先是将音频和视频对齐到共同的嵌入空间，以便于信息的共享和冗余的移除；其次是用简洁的文本描述替代对象级视觉token，减少token数量。
关键创新：ReMo的主要创新在于其训练无关的设计，能够在不需要额外训练的情况下，通过信息对齐和文本代理的方式显著减少视觉token的数量，这与现有方法的依赖于训练的压缩技术形成鲜明对比。
关键设计：在ReMo中，音频和视频的对齐使用了共同的嵌入空间，确保信息的有效共享；同时，文本代理的设计采用了简洁的描述方式，确保信息传递的完整性与准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ReMo在Qwen2.5-Omni模型上成功去除了54%的输入token，且在五个音频-视觉基准测试中，准确性分别达到了101.2%和101.3%，超越了全token模型，展现了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括多模态内容生成、智能监控、自动化视频分析等。通过降低输入token成本，ReMo框架能够提高Omni-LLMs的效率，促进其在实际应用中的推广与使用，尤其是在资源受限的环境中。
📄 摘要（原文）
The goal of this paper is to reduce the input token cost of Omni-modal large language models (Omni-LLMs) at inference time. Omni-LLMs reason jointly over audio, video and text, but the cost of the three streams is highly unbalanced: visual tokens account for the vast majority of the input, and are highly redundant. In this paper, we propose ReMo, a training-free framework that compresses visual tokens by redistributing their information across modalities: a visual token is kept only if its information appears nowhere else. ReMo achieves this in two ways: (i) it aligns audio and video in a common embedding space, and removes visual tokens already explained by the audio or by other visual tokens; and (ii) it replaces object-level visual tokens with compact text proxies, short descriptions of each object and its location, conveying the same content in far fewer tokens. On Qwen2.5-Omni at two model scales, ReMo removes 54% of the input tokens with no loss in accuracy. Indeed, it slightly exceeds the full-token model, reaching 101.2% and 101.3% of its average accuracy over five audio-visual benchmarks.