Rethinking Multi-Image Re-Representation in Multi-Image Understanding
作者: Gengyuan Zhang, Xiao Han, Xinyu Xie, Tong Liu, Volker Tresp
分类: cs.CV, cs.AI
发布日期: 2026-09-30
备注: 27 pages, 7 figures, 9 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出Mosaic以解决多图像理解中的视觉证据组织问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多图像理解 视觉证据组织 多模态大语言模型 图像操作 强化学习
📋 核心要点
- 现有方法在多图像理解中难以有效组织分散的视觉证据，导致推理能力受限。
- 论文提出Mosaic工具，通过十种可组合的图像操作，帮助MLLM主动构建视觉中介以优化推理过程。
- 实验结果显示，视觉重新表征在需要精确视觉证据的任务中显著提升性能，而在高层语义内容主导的任务中提升幅度较小。
📝 摘要（中文）
多图像理解要求多模态大语言模型（MLLM）不仅识别单个图像的内容，还要组织分散在多个图像中的视觉证据。本文通过多图像重新表征研究该问题，认为提示链式思维推理和主动视觉工具使用是重新组织视觉证据的不同方式。我们提出了Mosaic，一个通用的多图像视觉工具，允许MLLM通过十种可组合的图像操作主动构建视觉中介。我们在现有的多图像基准和新的MosaicBench基准上比较了五种重新表征设置。实验表明，文本和视觉重新表征的相对优势强烈依赖于任务类型，视觉重新表征在需要精确视觉证据的任务中表现尤为有效。
🔬 方法详解
问题定义：本文旨在解决多图像理解中视觉证据组织不当的问题，现有方法在处理复杂视觉信息时表现不足，无法有效整合多图像中的信息。
核心思路：提出Mosaic工具，通过十种可组合的图像操作，支持MLLM在推理过程中主动构建视觉中介，从而更好地组织和利用视觉证据。
技术框架：Mosaic的整体架构包括输入图像的处理模块、图像操作的组合模块和推理模块，允许模型在多个步骤中进行视觉操作的组合。
关键创新：Mosaic的核心创新在于其灵活的图像操作组合能力，使得模型能够在没有示范轨迹或特定工具使用奖励的情况下，自主学习并展现多样化的问题解决模式。
关键设计：在训练过程中，使用准确性和格式奖励作为强化学习的目标，模型通过这些奖励机制优化其图像操作的组合策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，视觉重新表征在需要精确视觉证据的任务中表现优异，尤其是在假设检验和精度比较任务中，相较于基线方法提升幅度显著，具体性能数据尚未披露。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、医疗影像分析和多媒体内容理解等。通过提高多图像理解的精确性，Mosaic能够在复杂场景中提供更可靠的视觉推理支持，未来可能对智能系统的决策能力产生深远影响。
📄 摘要（原文）
Multi-image understanding requires MLLMs not only to recognise the content of individual images, but also to organise visual evidence distributed across them. We study this problem through multi-image re-representation, viewing prompted Chain-of-Thought reasoning and agentic visual tool use as different ways of re-organising visual evidence during reasoning. We introduce Mosaic, a general-purpose multi-image visual harness that enables an MLLM to actively construct visual intermediates with ten composable image operations. We compare five re-representation settings on existing multi-image benchmarks and on MosaicBench, a new grounding-focused benchmark for fine-grained multi-image understanding. Our experiments show that the relative benefits of textual and visual re-representation are strongly task-dependent. Visual re-representation is particularly effective for tasks requiring precise visual evidence, including hypothesis testing, precision comparison, and orientation-sensitive reasoning, while tasks dominated by higher-level semantic content show smaller or less consistent gains. Building on this finding, we train MosaicAgent-8B to use Mosaic with reinforcement learning using only accuracy and format rewards. Without demonstration trajectories or rewards for specific tool-use, the agent learns to compose visual operations over multiple steps and exhibits diverse problem-solving patterns unpromptedly. Code and data will be released at https://github.com/gengyuanmax/Mosaic.