Xiaomi-Lens-0 Technical Report

📄 arXiv: 2610.23279v1 📥 PDF

作者: Pei Fu, Yike Liu, Yue Sun, Hanmo Wang, Xiuwen Xi, Ruoceng Zhang, Shaojie Zhang, Chao Jiang, Hang Li, Bingrui Liu, Zhenbo Luo, Heng Qu, Changjian Xu, Ming Xu, Jian Luan

分类: cs.CV

发布日期: 2026-10-16

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Xiaomi-Lens-0以解决多模态语言模型区域理解不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 区域理解 视觉表示 掩码预测 深度学习

📋 核心要点

  1. 现有的多模态大语言模型在细粒度区域理解上存在不足，主要由于文本监督无法明确指示支持答案的具体区域。
  2. Xiaomi-Lens-0通过轻量解码器结合视觉编码器特征与语言模型状态，直接从视觉表示中预测掩码，解决了区域理解问题。
  3. 在RefCOCO、RefCOCO+和RefCOCOg的实验中，Xiaomi-Lens-0平均提升5.6分，并在所有感知基准中超越了Qwen3.5。

📝 摘要（中文）

多模态大语言模型（MLLMs）在回答整体图像问题时表现良好，但在细粒度区域理解方面仍存在困难。主要原因在于仅依赖文本监督无法明确指定支持答案的区域。为了解决这一问题，本文提出了Xiaomi-Lens-0，这是一个基于Qwen3.5构建的4B MLLM，能够从自身的视觉表示中预测掩码。该模型通过轻量解码器将视觉编码器的补丁特征与视觉潜变量、语言模型的掩码标记状态结合，从而实现掩码监督直接到达共享骨干网络，而无需额外的分割编码器。每个潜变量解码为一个掩码，使得模型能够在推理过程中与区域特定的潜变量交织，从而实现基于视觉潜变量的思考。实验结果显示，Xiaomi-Lens-0在RefCOCO、RefCOCO+和RefCOCOg的所有分割中平均提升5.6分，并在比较模型中实现了最高的分割cIoU。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在细粒度区域理解方面的不足，现有方法主要依赖文本监督，无法有效指示支持答案的具体区域。

核心思路：Xiaomi-Lens-0的核心思路是通过轻量解码器将视觉编码器的补丁特征与语言模型的掩码标记状态结合，从而实现掩码的直接预测，避免了额外的分割编码器。

技术框架：该模型的整体架构包括视觉编码器、轻量解码器和语言模型三个主要模块。视觉编码器提取图像特征，解码器将这些特征与语言模型的状态结合，最终生成掩码。

关键创新：Xiaomi-Lens-0的创新在于其能够在推理过程中与区域特定的潜变量交织，从而实现基于视觉潜变量的思考，这与传统方法的分离处理方式有本质区别。

关键设计：模型设计中，轻量解码器的结构优化了计算效率，损失函数设计确保了掩码预测的准确性，网络结构则通过共享骨干网络提升了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Xiaomi-Lens-0在RefCOCO、RefCOCO+和RefCOCOg的所有分割中平均提升5.6分，且在比较模型中实现了最高的分割cIoU。此外，该模型在所有感知基准上均超越了Qwen3.5，显示出显著的性能提升。

🎯 应用场景

Xiaomi-Lens-0的研究成果在计算机视觉和自然语言处理的交叉领域具有广泛的应用潜力。它可以被应用于图像理解、自动标注、智能问答系统等场景，提升机器对图像内容的理解能力，进而推动智能助手和自动驾驶等技术的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) answer questions about whole images well, yet they still struggle with fine-grained region understanding. A key reason is that text-only supervision never specifies which regions support an answer. To close this gap, we present Xiaomi-Lens-0, a 4B MLLM built on Qwen3.5 that predicts masks from its own visual representations. Specifically, a lightweight decoder combines vision-encoder patch features with visual latents, the language model's mask-token states, so mask supervision reaches the shared backbone without an additional segmentation encoder. Because each latent decodes to a mask, the model can interleave reasoning with region-specific latents and thus think with visual latents, while grounded reasoning traces supervise the regions it visits during chain-of-thought. As a result, across all eight RefCOCO, RefCOCO+, and RefCOCOg splits, Xiaomi-Lens-0 gains 5.6 points on average over Qwen3.5 in referring comprehension and achieves the highest segmentation cIoU among compared models. Moreover, it surpasses Qwen3.5 across all perception benchmarks. Homepage: \href{https://seerray-lab.github.io/Xiaomi-Lens-0}{this https URL}