Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

📄 arXiv: 2411.18203v5 📥 PDF

作者: Di Zhang, Junxian Li, Jingdi Lei, Xunzhi Wang, Yujie Liu, Zonglin Yang, Jiatong Li, Weida Wang, Suorong Yang, Jianbo Wu, Peng Ye, Wanli Ouyang, Dongzhan Zhou

分类: cs.CV, cs.CL

发布日期: 2024-11-27 (更新: 2025-04-23)

备注: 16 pages, 11 figures

💡 一句话要点

Critic-V：利用VLM评论家提升多模态推理中VLM的纠错能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉语言模型 Actor-Critic 自然语言反馈 直接偏好优化

📋 核心要点

  1. 现有VLM在多模态推理中存在图像理解偏差和推理路径不完善的问题，导致生成不准确的响应。
  2. Critic-V框架借鉴Actor-Critic思想，通过Reasoner生成推理路径，Critic提供自然语言反馈来迭代优化推理过程。
  3. 实验结果表明，Critic-V在多个基准测试中优于现有方法，尤其在推理准确性和效率方面有显著提升。

📝 摘要（中文）

视觉-语言模型(VLM)在多模态推理任务中取得了显著进展。然而，由于图像理解幻觉或推理路径不完善等问题，它们仍然经常产生不准确或不相关的响应。为了应对这些挑战，我们引入了Critic-V，这是一个受Actor-Critic范式启发的新框架，旨在提升VLM的推理能力。该框架通过集成两个独立的组件来解耦推理过程和评论过程：Reasoner，它基于视觉和文本输入生成推理路径；Critic，它提供建设性的评论来改进这些路径。在这个方法中，Reasoner根据文本提示生成推理响应，这些响应可以根据Critic的反馈迭代演化为策略。这个交互过程在强化学习框架的理论驱动下进行，Critic提供自然语言评论而不是标量奖励，从而为提升Reasoner在复杂推理任务中的能力提供更细致的反馈。Critic模型使用直接偏好优化(DPO)进行训练，利用由基于规则的奖励(RBR)排序的评论偏好数据集来增强其评论能力。评估结果表明，Critic-V框架在8个基准测试中的5个上显著优于现有方法，包括GPT-4V，尤其是在推理准确性和效率方面。将Reasoner的动态文本策略与来自偏好优化的Critic的建设性反馈相结合，可以实现更可靠和上下文敏感的多模态推理过程。我们的方法为提高VLM的可靠性提供了一个有希望的解决方案，从而提高它们在现实世界中推理密集型多模态应用（如自动驾驶和具身智能）中的性能。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型（VLM）在多模态推理任务中存在的固有缺陷，即由于图像理解的偏差（幻觉）和不完善的推理路径，导致模型产生不准确或不相关的响应。现有方法通常难以提供细粒度的反馈，从而限制了VLM在复杂推理场景下的性能提升。

核心思路：论文的核心思路是借鉴强化学习中的Actor-Critic框架，将VLM的推理过程解耦为Reasoner（执行推理）和Critic（提供反馈）两个独立的部分。Reasoner负责生成推理路径，而Critic则负责对这些路径进行评估并提供建设性的自然语言反馈，从而指导Reasoner进行改进。这种解耦和迭代优化的方式能够更有效地提升VLM的推理能力。

技术框架：Critic-V框架包含两个主要模块：Reasoner和Critic。Reasoner接收视觉和文本输入，并根据文本提示生成推理响应。Critic接收Reasoner生成的推理路径，并提供自然语言评论作为反馈。Reasoner根据Critic的反馈迭代更新其推理策略。整个框架通过强化学习的方式进行训练，其中Critic的训练采用直接偏好优化（DPO）算法。

关键创新：论文的关键创新在于引入了自然语言评论作为VLM推理过程的反馈机制，而非传统的标量奖励。这种自然语言评论能够提供更丰富、更细致的指导信息，帮助Reasoner更好地理解推理过程中的错误和不足，从而更有效地进行改进。此外，使用DPO算法训练Critic，使其能够根据人类偏好对推理路径进行排序和评价，进一步提升了反馈的质量。

关键设计：Critic模型使用直接偏好优化(DPO)进行训练，目标是学习一个能够反映人类偏好的评论模型。训练数据由基于规则的奖励(RBR)进行排序的评论组成，RBR用于初步评估评论的质量。Reasoner的策略更新基于Critic提供的自然语言反馈，通过动态文本策略实现迭代优化。具体的网络结构和参数设置在论文中可能包含更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Critic-V框架在多个多模态推理基准测试中取得了显著的性能提升，在8个基准测试中的5个上优于GPT-4V等现有方法。尤其是在推理准确性和效率方面，Critic-V表现突出，证明了其在提升VLM推理能力方面的有效性。具体的性能数据和提升幅度在论文的实验部分有详细展示（未知）。

🎯 应用场景

Critic-V框架具有广泛的应用前景，尤其是在需要高度可靠性和精确性的多模态推理场景中。例如，在自动驾驶领域，该框架可以帮助车辆更准确地理解周围环境并做出决策；在具身智能领域，它可以提升机器人在复杂环境中的导航和操作能力。此外，该框架还可以应用于医疗诊断、金融分析等领域，提高决策的准确性和可靠性。

📄 摘要（原文）

Vision-language models (VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner's capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward~(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.