ZeroSense:How Vision matters in Long Context Compression
作者: Yonghan Gao, Zehong Chen, Lijian Xu, Jingzhi Chen, Jingwei Guan, Xingyu Zeng
分类: cs.CV
发布日期: 2026-03-12
💡 一句话要点
提出ZeroSense基准，解耦MLLM能力，更准确评估视觉文本压缩质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉文本压缩 长上下文建模 多模态大语言模型 评估基准 解耦评估
📋 核心要点
- 现有视觉文本压缩评估依赖下游任务，无法准确衡量压缩质量，易受MLLM语言先验影响。
- 提出解耦MLLM能力的评估框架和ZeroSense基准，消除上下文依赖，纯粹评估VTC质量。
- 实验表明VTC质量与下游任务准确率存在显著差异，验证了解耦评估框架的必要性。
📝 摘要（中文）
本文针对视觉文本压缩(VTC)方法，特别是DeepSeek-OCR这类利用文本到图像渲染实现长上下文建模的方法，提出了一种新的评估框架。现有评估协议过度依赖下游任务性能，无法准确衡量文本信息的保留程度，因为多模态大语言模型(MLLM)本身具有很强的语言先验知识。为了解决这个问题，本文解耦了MLLM的能力，从而能够更真实地评估VTC的质量。此外，本文还提出了ZeroSense基准，确保测试样本具有低语义相关性。通过消除上下文依赖，该基准保证了评估结果能够纯粹反映VTC的质量，不受下游模型语义推理能力的影响。大量实验表明，VTC质量与下游任务准确率之间存在显著差异，突出了本文提出的解耦评估框架的必要性。
🔬 方法详解
问题定义：现有视觉文本压缩（VTC）方法的评估主要依赖于下游任务的性能，例如文档问答。这种评估方式的痛点在于，多模态大语言模型（MLLM）本身具有强大的语言理解和推理能力，即使VTC的质量不高，MLLM仍然可以凭借其语言先验知识完成任务，从而掩盖了VTC的真实性能。因此，如何设计一种能够独立于MLLM的语言能力，准确评估VTC质量的评估方法是一个关键问题。
核心思路：本文的核心思路是解耦MLLM的能力，使其在评估VTC质量时，尽可能减少对自身语言先验知识的依赖。具体来说，通过构建低语义相关性的测试样本，消除上下文依赖，使得MLLM只能依赖VTC提供的视觉信息进行判断，从而更真实地反映VTC的质量。同时，设计相应的评估指标，衡量文本信息的保留程度。
技术框架：本文提出的评估框架主要包含两个核心组成部分：一是ZeroSense基准数据集，二是解耦的评估协议。ZeroSense基准数据集由低语义相关性的图像-文本对组成，确保评估过程不受上下文信息的影响。解耦的评估协议则通过特定的任务设计和评估指标，衡量MLLM在仅依赖VTC输出的视觉信息时，对文本信息的理解程度。整体流程为：首先，使用VTC方法压缩文本信息并渲染成图像；然后，将渲染后的图像输入MLLM；最后，根据MLLM的输出，使用解耦的评估指标评估VTC的质量。
关键创新：本文最重要的技术创新点在于提出了ZeroSense基准和解耦评估协议。ZeroSense基准通过构建低语义相关性的测试样本，消除了上下文依赖，使得评估结果能够纯粹反映VTC的质量。解耦评估协议则通过特定的任务设计和评估指标，降低了MLLM的语言先验知识对评估结果的影响。与现有方法相比，本文的方法能够更准确地评估VTC的真实性能。
关键设计：ZeroSense基准的关键设计在于确保测试样本的低语义相关性。具体实现方式未知，但可以推测可能包括控制文本的词汇和语法复杂度，以及避免使用具有强关联性的概念。解耦评估协议的关键设计在于选择合适的任务和评估指标。任务需要能够充分利用VTC提供的视觉信息，同时尽可能减少对语言理解的需求。评估指标则需要能够准确衡量MLLM对文本信息的理解程度，例如，可以通过设计一些简单的视觉问答任务，考察MLLM是否能够从VTC输出的图像中提取出关键的文本信息。
🖼️ 关键图片
📊 实验亮点
本文通过实验证明，现有的基于下游任务性能的评估方法无法准确反映VTC的质量，VTC质量与下游任务准确率之间存在显著差异。使用ZeroSense基准和解耦评估协议，可以更准确地评估VTC的真实性能，为VTC算法的改进提供了更可靠的依据。具体的性能数据和提升幅度未知。
🎯 应用场景
该研究成果可应用于各种需要长文本压缩的场景，例如文档管理、信息检索、移动设备上的文本显示等。通过更准确地评估视觉文本压缩的质量，可以帮助研究人员开发出更高效、更可靠的压缩算法，从而提升相关应用的用户体验和性能。未来，该研究还可以扩展到其他模态的压缩评估，例如音频和视频。
📄 摘要（原文）
Recent visual-text compression (VTC) methods, typified by DeepSeek-OCR, report impressive high token compression ratios for long-context modeling tasks by leveraging text-to-image rendering. However, existing evaluation protocols heavily rely on downstream task performance. Such evaluation metrics fail to accurately measure text preservation due to the strong inherent linguistic priors of Multimodal Large Language Models (MLLMs). In this work, we introduce a new evaluation framework that decouples MLLMs' capabilities to faithfully assess VTC quality. Within this framework, we further introduce the ZeroSense Benchmark to ensure low semantic correlation of testing samples. By eliminating contextual dependencies, our benchmark guarantees that the evaluation results are purely reflective of VTC quality, unaffected by the semantic inference capabilities of downstream models. Extensive experiments across multiple datasets demonstrate that VTC quality and downstream task accuracy diverge significantly, highlighting the necessity of our decoupled evaluation framework.