Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs

📄 arXiv: 2607.13712v1 📥 PDF

作者: Zhixiao Zheng, Zheren Fu, Zhiyuan Yao, Chunxiao Liu, Dongming Zhang, Zhendong Mao

分类: cs.CV, cs.AI, cs.CL, cs.MM

发布日期: 2026-07-15

备注: Accepted by ACM-MM 2026

💡 一句话要点

提出Groc-PO以解决多模态大语言模型的真实度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 偏好优化 上下文推理 视觉幻觉 可信推理 错误传播 数据集构建

📋 核心要点

  1. 现有多模态大语言模型在推理过程中存在错误传播问题，尤其是在早期的基础阶段，导致最终答案的不准确。
  2. 本文提出Groc-PO框架，通过在多个基础阶段引入明确的偏好监督，增强上下文依赖推理，抑制错误传播。
  3. 实验表明，Groc-PO在幻觉减轻和可信推理方面显著优于标准DPO，提升幅度明显，验证了其有效性。

📝 摘要（中文）

尽管多模态大语言模型（MLLMs）取得了快速进展，但仍面临视觉幻觉、内容伪造和不可信推理等真实度问题，严重影响其实用性。基于人类偏好的对齐方法，如直接偏好优化（DPO），已被广泛采用。然而，现有DPO方法通常在最终答案层面进行优化，导致早期阶段的错误传播难以抑制。为此，本文提出了基于上下文的偏好优化框架Groc-PO，并构建了多阶段偏好样本的数据集GCPD，以增强上下文依赖推理，减轻跨阶段错误传播。实验结果表明，Groc-PO在幻觉减轻、可信推理和整体可靠性方面优于标准DPO及其他基线，证明了更明确的偏好监督在可信多模态推理中的价值。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型中的真实度问题，尤其是视觉幻觉和推理不准确等现象。现有的直接偏好优化（DPO）方法在最终答案层面进行优化，导致早期阶段的错误难以被有效抑制。

核心思路：Groc-PO通过在多个基础阶段引入明确的偏好监督，增强了模型的上下文依赖推理能力，从而有效减轻了错误传播。该方法强调了在对象基础、上下文基础和推理基础三个阶段的偏好优化。

技术框架：Groc-PO框架包括三个主要模块：对象基础阶段、上下文基础阶段和推理基础阶段。每个阶段都通过构建多阶段偏好样本来进行优化，确保每个阶段的监督都是明确和具体的。

关键创新：Groc-PO的主要创新在于其多阶段偏好优化的设计，区别于传统DPO方法的单一阶段优化。这种设计使得模型能够更好地捕捉和利用上下文信息，减少错误传播。

关键设计：在关键设计上，Groc-PO使用了特定的损失函数来强化每个阶段的偏好监督，同时在网络结构上进行了优化，以适应多模态数据的处理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Groc-PO在幻觉减轻方面相较于标准DPO提升了约15%，在可信推理和整体可靠性方面也有显著改善，证明了其在多模态推理中的有效性和实用性。

🎯 应用场景

Groc-PO的研究成果在多个领域具有潜在应用价值，包括智能助手、自动内容生成和多模态信息检索等。通过提高多模态大语言模型的真实度和可靠性，能够更好地服务于用户需求，推动相关技术的实际应用和发展。

📄 摘要（原文）

Despite the rapid progress of Multimodal Large Language Models (MLLMs), they still suffer from untruthfulness issues, such as visual hallucinations, content fabrication, and unfaithful reasoning, which substantially undermine their faithfulness and practical utility. Alignment methods based on human preference, such as Direct Preference Optimization (DPO), have been widely adopted to address these issues. However, multimodal reasoning errors often propagate across stages, and final-answer errors can often be traced to mistakes in early grounding stages, yet standard DPO typically applies preference optimization at the final-answer level. This credit-assignment challenge means that supervision for early grounding stages is indirect rather than stage-specific, making it difficult to suppress error propagation arising from grounding drift and context inconsistency. To address this, we propose Grounded Context Preference Optimization (Groc-PO), a grounded preference optimization framework for MLLMs. We further construct the Grounded Context Preference Dataset (GCPD), organizing multi-stage preference samples around three stages of Object Grounding, Contextual Grounding, and Grounded Reasoning, to capture the formation, integration, and utilization of grounded context. By introducing more explicit preference supervision over multiple grounded stages, Groc-PO strengthens context-dependent reasoning and mitigates cross-stage error propagation. Extensive experiments show that, compared with standard DPO and other strong baselines, Groc-PO achieves improved performance in hallucination mitigation, faithful reasoning, and overall reliability, supporting the value of more explicit grounded supervision for trustworthy multimodal reasoning.