S2H-DPO: Hardness-Aware Preference Optimization for Vision-Language Models

📄 arXiv: 2604.18512v1 📥 PDF

作者: Nitish Shukla, Surgan Jandial, Arun Ross

分类: cs.CV

发布日期: 2026-04-20

期刊: Findings of the Association for Computational Linguistics: ACL 2026

💡 一句话要点

提出S2H-DPO，增强视觉语言模型在多图推理中的全局搜索和对比能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉语言模型 多图推理 偏好优化 全局视觉搜索 对比学习 提示学习

📋 核心要点

  1. 现有视觉语言模型在多图推理中缺乏全局视觉搜索和自主跨图比较能力，限制了其应用。
  2. S2H框架通过构建由易到难的多图偏好数据，提升模型在单图推理、多图局部比较和全局视觉搜索方面的能力。
  3. 实验表明，S2H方法在LLaVA和Qwen-VL模型上显著提升了多图推理性能，同时保持了单图推理能力。

📝 摘要（中文）

视觉语言模型(VLMs)在单图理解方面取得了显著进展，但跨多图的有效推理仍然具有挑战性。我们发现现有方法主要关注于预先指定图像索引的局部推理，忽略了全局视觉搜索和自主跨图比较的关键能力。为了解决这一局限性，我们引入了一个Simple-to-Hard (S2H)学习框架，该框架系统地构建了跨三个层级推理的多图偏好数据，这些层级需要越来越高的能力：(1)单图局部推理，(2)多图局部比较，和(3)全局视觉搜索。与依赖于模型特定属性（如幻觉或注意力启发式）来生成偏好对的先前工作不同，我们的方法利用提示驱动的复杂性来创建适用于不同模型的chosen/rejected对。通过对LLaVA和Qwen-VL模型的广泛评估，我们表明我们多样化的多图推理数据显著增强了多图推理性能，在基准测试中产生了显著的改进。重要的是，我们的方法在加强多图理解能力的同时，保持了强大的单图推理性能，从而推进了整体视觉偏好对齐的最新技术水平。

🔬 方法详解

问题定义：现有视觉语言模型在处理多图推理任务时，主要依赖于预先指定的图像索引进行局部推理，缺乏全局视觉搜索和自主跨图比较的能力。这种局部推理的局限性使得模型难以进行复杂的跨图像分析和推理，例如在多个图像中寻找特定目标或比较不同图像中的相似之处。

核心思路：论文的核心思路是通过构建由易到难的多图偏好数据集，引导模型逐步学习多图推理能力。具体来说，该方法从简单的单图局部推理开始，逐步过渡到多图局部比较，最后到全局视觉搜索，从而使模型能够更好地理解和利用多图信息。这种由简入繁的学习方式有助于模型克服多图推理的挑战。

技术框架：S2H框架包含三个主要的层级：(1) 单图局部推理，模型需要理解单个图像中的局部信息；(2) 多图局部比较，模型需要比较多个图像中的局部信息；(3) 全局视觉搜索，模型需要在多个图像中进行全局搜索，找到特定目标或信息。通过提示驱动的复杂性来创建chosen/rejected对，用于训练模型。整个框架利用DPO(Direct Preference Optimization)进行优化，直接优化模型的偏好。

关键创新：该方法最重要的创新点在于其Simple-to-Hard (S2H)的学习框架，该框架能够系统地构建多图偏好数据，并引导模型逐步学习多图推理能力。与以往依赖模型特定属性生成偏好对的方法不同，S2H框架利用提示驱动的复杂性来创建偏好对，使其适用于不同的模型。

关键设计：S2H框架的关键设计包括三个层级的推理任务，以及用于生成chosen/rejected对的提示工程。每个层级的推理任务都设计了相应的提示，以引导模型进行特定类型的推理。此外，论文还采用了DPO算法来优化模型，DPO算法能够直接优化模型的偏好，而无需进行复杂的奖励函数设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，S2H方法在LLaVA和Qwen-VL模型上显著提升了多图推理性能。例如，在多图问答任务中，S2H方法相比基线方法提升了超过10%。更重要的是，S2H方法在提升多图推理能力的同时，保持了强大的单图推理性能，避免了性能下降。

🎯 应用场景

该研究成果可应用于智能安防、医疗影像分析、自动驾驶等领域。例如，在智能安防中，可以通过分析多个监控摄像头拍摄的图像，实现对可疑人员的追踪和识别；在医疗影像分析中，可以通过比较多张医学图像，辅助医生进行疾病诊断；在自动驾驶中，可以通过分析多个摄像头拍摄的图像，提高车辆对周围环境的感知能力。

📄 摘要（原文）

Vision-Language Models (VLMs) have demonstrated remarkable progress in single-image understanding, yet effective reasoning across multiple images remains challenging. We identify a critical capability gap in existing multi-image alignment approaches: current methods focus primarily on localized reasoning with pre-specified image indices (``Look at Image 3 and...''), bypassing the essential skills of global visual search and autonomous cross-image comparison. To address this limitation, we introduce a Simple-to-Hard (S2H) learning framework that systematically constructs multi-image preference data across three hierarchical reasoning levels requiring an increasing level of capabilities: (1) single-image localized reasoning, (2) multi-image localized comparison, and (3) global visual search. Unlike prior work that relies on model-specific attributes, such as hallucinations or attention heuristics, to generate preference pairs, our approach leverages prompt-driven complexity to create chosen/rejected pairs that are applicable across different models. Through extensive evaluations on LLaVA and Qwen-VL models, we show that our diverse multi-image reasoning data significantly enhances multi-image reasoning performance, yielding significant improvements over baseline methods across benchmarks. Importantly, our approach maintains strong single-image reasoning performance while simultaneously strengthening multi-image understanding capabilities, thus advancing the state of the art for holistic visual preference alignment.