The Image Still Has a Say: Final-Answer Repair for Multimodal Chain-of-Thought

📄 arXiv: 2610.17663v1 📥 PDF

作者: Yulan Pan, Xiaoyu Xu, Zhihong Shen

分类: cs.CL

发布日期: 2026-10-13

备注: 12 pages, 5 figures

💡 一句话要点

提出最终答案修复方法以解决多模态推理中的答案准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 链式思维 视觉证据 答案修复 图像问答

📋 核心要点

  1. 现有的多模态推理方法在生成最终答案时容易偏离图像，导致答案不准确。
  2. 本文提出的TVER方法通过在固定推理的基础上，利用图像信息修复最终答案，避免了重写推理的复杂性。
  3. 实验表明，TVER在多个基准测试中均提升了答案的准确性，尤其在多选和开放式答案评估中表现突出。

📝 摘要（中文）

尽管链式思维提示在多模态推理中有所改善，但生成正确的最终答案仍然困难，因为推理可能偏离图像。此外，答案生成时推理轨迹已固定，无法自我修正。考虑到在最终答案步骤中图像仍然可用，本文提出在不重写推理的情况下修正答案。我们提出了一种训练无关的方法——文本到视觉证据重新分配（TVER），通过选择与答案相关的文本和问题匹配的图像区域，将注意力从文本转移到图像补丁上。实验结果表明，该方法在多个基准和模型上均显著提高了答案的准确性，适用于多选和开放式答案评估。

🔬 方法详解

问题定义：本文旨在解决多模态推理中生成最终答案时的准确性问题。现有方法在推理过程中容易偏离图像信息，导致错误答案的产生。

核心思路：提出了一种新的方法TVER，通过在固定推理轨迹的情况下，利用图像信息修复最终答案。该方法基于发现错误选项在推理中可能过早承诺，而正确选项在中深层仍具有更强的图像支持。

技术框架：TVER的整体流程包括选择与答案相关的文本和问题匹配的图像补丁，并将注意力从文本转移到这些图像补丁上。具体而言，补丁选择基于与问题的相关性，并在中深层窗口中进行。

关键创新：TVER的主要创新在于其训练无关的特性，直接修复最终答案而不需要重写推理轨迹。这与现有通过训练、重采样或解码时对齐的方法有本质区别。

关键设计：在设计中，TVER选择与问题相关的图像补丁，并通过调整注意力机制来实现文本与图像之间的有效转移。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TVER在多个基准测试中显著提高了答案的准确性。在多选题和开放式答案评估中，TVER相较于基线方法的性能提升幅度达到XX%，展示了其在多模态推理中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像问答、自动驾驶视觉系统和多模态信息检索等。通过提高多模态推理的准确性，TVER能够在实际应用中提升用户体验和系统性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Although chain-of-thought prompting has improved multimodal reasoning, it is still difficult to produce correct final answers, as the reasoning can drift away from the image. Besides, the trace is already fixed when the answer is generated, leaving no room for self-correction. Considering the image is still available at the final-answer step, we think it is reasonable to fix the answer there without rewriting the reasoning. As such, the problem becomes to correct the final answer using the image under fixed reasoning. Unlike methods that improve trace generation through training, resampling, or decoding-time grounding, we repair the final-answer readout while keeping the reasoning trace fixed. The motivation is based on our finding that a wrong option can become prematurely committed in the reasoning while the correct option still has stronger image support in middle-to-deep layers. Thus, we propose Text-to-Visual Evidence Reallocation (TVER), a training-free method for final-answer repair. Specifically, TVER selects answer-related text and question-matched image patches, and moves bounded attention from text to patches. Furthermore, the patches are chosen in a middle-to-deep layer window based on question relevance. Our method improves answers across benchmarks and backbones, with gains in both multiple-choice and open-answer evaluations.