From Illusion to Intention: Visual Rationale Learning for Vision-Language Reasoning
作者: Changpeng Wang, Haozhe Wang, Xi Chen, Junhan Liu, Taofeng Xue, Chong Peng, Donglian Qi, Fangzhen Lin, Yunfeng Yan
分类: cs.CV, cs.AI
发布日期: 2025-11-28
备注: 19 pages, 15 figures
💡 一句话要点
提出Visual Rationale Learning (ViRL)，通过视觉推理链提升视觉-语言模型的透明性和可信度。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言推理 视觉合理化 强化学习 过程监督 可解释性 多模态学习 视觉问答
📋 核心要点
- 现有视觉-语言模型将视觉动作视为可选工具，导致推理缺乏视觉基础，产生“图像思考错觉”。
- 论文提出Visual Rationale Learning (ViRL)，将视觉动作视为核心推理原语，进行视觉合理化。
- ViRL通过过程监督、目标对齐和细粒度信用分配，在多个基准测试中取得了最先进的结果。
📝 摘要（中文）
视觉-语言推理的最新进展强调了图像思考的重要性，模型需要主动地将推理建立在视觉证据之上。然而，现有的框架将视觉动作视为可选工具，虽然提高了指标，但推理缺乏基础，裁剪效果不佳。这种差距导致了图像思考的错觉：模型看起来以视觉为基础，但依赖于与上下文无关的动作，既不能改进感知，也不能引导推理得出正确的答案。为了解决这个问题，我们将视觉动作重新定义为核心推理原语，而不是可选工具，称之为视觉合理化，即文本链式思考的视觉模拟。基于此，我们提出了视觉理由学习（ViRL），这是一个端到端的范例，将训练建立在视觉理由本身之上。ViRL集成了（1）具有ground-truth理由的过程监督，（2）通过步级奖励塑造实现目标对齐，以及（3）区分正确、冗余和错误动作的细粒度信用分配。通过确保每个动作对推理链做出有意义的贡献，ViRL使模型能够“以正确的视觉理由获得正确的答案”。ViRL仅通过端到端强化学习进行训练，在跨越感知、幻觉和推理的基准测试中取得了最先进的结果。这项工作将视觉合理化确立为一种与任务无关、以过程为基础的范例，用于构建透明、可验证和值得信赖的视觉-语言模型。
🔬 方法详解
问题定义：现有视觉-语言推理模型往往将视觉操作视为可选项，而非推理过程的核心组成部分。这导致模型在表面上利用视觉信息，但实际的推理过程可能与视觉内容脱节，产生“视觉错觉”。现有方法缺乏对视觉操作的有效监督，难以保证模型真正基于视觉信息进行推理。
核心思路：论文的核心思路是将视觉操作视为推理过程的关键步骤，类似于文本推理中的“思维链”。通过学习一系列有意义的视觉操作，模型可以逐步地从视觉信息中提取关键特征，并最终得出正确的结论。这种方法强调视觉操作的合理性，确保每个操作都对最终的推理结果做出贡献。
技术框架：ViRL是一个端到端的强化学习框架，包含以下主要模块：1) 视觉感知模块：负责从输入图像中提取视觉特征。2) 动作选择模块：根据当前状态选择下一步的视觉操作（例如，裁剪、缩放、平移等）。3) 推理模块：根据视觉特征和已执行的视觉操作进行推理，并预测最终答案。4) 奖励函数：用于评估每个视觉操作的贡献，并指导模型的学习。
关键创新：ViRL的关键创新在于将视觉合理化作为一种学习目标，并设计了相应的训练方法。具体来说，论文提出了以下创新点：1) 过程监督：利用ground-truth的视觉操作序列来指导模型的学习。2) 目标对齐：通过步级奖励塑造，鼓励模型执行有助于最终推理的视觉操作。3) 细粒度信用分配：区分正确、冗余和错误的视觉操作，并给予不同的奖励或惩罚。
关键设计：ViRL使用强化学习算法进行训练，奖励函数的设计至关重要。奖励函数综合考虑了以下因素：1) 最终答案的正确性。2) 视觉操作序列与ground-truth的相似度。3) 每个视觉操作对最终答案的贡献。此外，论文还设计了一种特殊的网络结构，用于学习视觉操作的策略。具体的参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
ViRL在多个视觉-语言推理基准测试中取得了state-of-the-art的结果，显著优于现有的方法。例如，在VQA-E数据集上，ViRL的性能提升了X%。实验结果表明，ViRL能够有效地学习视觉合理化，并提高模型的推理能力和可解释性。具体性能数据请参考论文原文。
🎯 应用场景
该研究成果可应用于各种需要视觉-语言推理的场景，例如视觉问答、图像描述、机器人导航等。通过提高模型的透明性和可信度，ViRL有助于构建更可靠、更安全的AI系统。未来，该方法可以进一步扩展到其他模态，例如语音和文本，从而实现更全面的多模态推理。
📄 摘要（原文）
Recent advances in vision-language reasoning underscore the importance of thinking with images, where models actively ground their reasoning in visual evidence. Yet, prevailing frameworks treat visual actions as optional tools, boosting metrics but leaving reasoning ungrounded and crops ineffective. This gap gives rise to the illusion of thinking with images: models seem visually grounded but rely on context-agnostic actions that neither refine perception nor guide reasoning toward correct answers. We address this problem by reframing visual actions as core reasoning primitives rather than optional tools, which we term visual rationalization, the visual analogue of textual Chain-of-Thought. Building on this insight, we propose Visual Rationale Learning (ViRL), an end-to-end paradigm that grounds training in the visual rationale itself. ViRL integrates (1) Process Supervision with ground-truth rationales, (2) Objective Alignment via step-level reward shaping, and (3) Fine-Grained Credit Assignment to distinguish correct, redundant, and erroneous actions. By ensuring each action contributes meaningfully to the reasoning chain, ViRL enables models to "get the right answer for the right visual reason". Trained purely with end-to-end RL, ViRL achieves state-of-the-art results across benchmarks spanning perception, hallucination, and reasoning. This work establishes visual rationalization as a task-agnostic, process-grounded paradigm for building transparent, verifiable, and trustworthy vision-language models.