Reasoning Instructions Can Break Answer Decoding in Vision--Language Models

📄 arXiv: 2609.29278v1 📥 PDF

作者: Zeyan Li, Siyuan Qiu, Jianfeng Xu

分类: cs.CL, cs.AI

发布日期: 2026-09-24

💡 一句话要点

提出CoT前缀评分以解决视觉语言模型评估失真问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 链式思维 评估方法 多项选择题 模型知识 数据集 准确率恢复

📋 核心要点

  1. 现有的多项选择视觉语言模型评估方法在引入链式思维指令时，可能导致评估结果失真，影响模型的真实表现。
  2. 论文提出了一种新的评估方法，称为CoT前缀评分，旨在解决在模型生成推理之前读取答案标签的问题。
  3. 实验结果显示，Qwen2.5-VL-7B在使用CoT前缀评分时准确率显著下降，但通过条件匹配的线性探测器和自由生成方法可以恢复部分准确率。

📝 摘要（中文）

链式思维（CoT）指令在视觉语言模型（VLM）评估中可能导致多项选择题的结果失真，尤其是在评估者在模型生成任何推理之前读取答案标签的情况下。我们称之为CoT前缀评分。在ScienceQA数据集上，Qwen2.5-VL-7B的准确率从80.76%下降至45.48%。在五种选项内容排列中，93.54%的CoT前缀预测选择了第一个选项。条件匹配的线性探测器从相同的隐藏状态中恢复了78.94%的准确率，而自由生成恢复了75.24%，显示答案通常在前缀中存活，而直接读取失败。词汇和层次诊断解释了这种不匹配的原因：概率质量向延续标记移动，而答案信息在后期层中仍然线性可访问。这些结果表明，CoT前缀评分可能因评估接口不匹配而混淆模型知识，除非请求和评分的输出事件对齐，否则应避免使用。

🔬 方法详解

问题定义：论文要解决的问题是链式思维指令在视觉语言模型评估中的应用导致的评估失真，现有方法在读取答案标签时未考虑模型生成推理的过程，造成结果不准确。

核心思路：论文的核心思路是提出CoT前缀评分，强调在评估过程中应避免在模型生成推理之前读取答案标签，以减少评估接口的不匹配。

技术框架：整体架构包括数据集准备、模型训练、评估方法设计和结果分析四个主要模块。首先，使用ScienceQA数据集进行实验，然后设计CoT前缀评分方法进行评估，最后分析不同方法的结果。

关键创新：最重要的技术创新点在于识别并量化了CoT前缀评分对模型评估的影响，揭示了模型知识与评估接口之间的潜在不匹配。

关键设计：在实验中，使用了条件匹配的线性探测器和自由生成方法来恢复模型的准确率，设置了不同的参数以评估模型在不同层次的表现。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，Qwen2.5-VL-7B在使用CoT前缀评分时准确率从80.76%下降至45.48%。通过条件匹配的线性探测器恢复了78.94%的准确率，而自由生成方法恢复了75.24%，显示出模型在不同评估方法下的表现差异。

🎯 应用场景

该研究的潜在应用领域包括教育评估、智能问答系统和多模态学习等。通过改进视觉语言模型的评估方法，可以更准确地反映模型的真实能力，从而提升相关应用的可靠性和有效性。

📄 摘要（原文）

Chain-of-thought (CoT) instructions can distort multiple-choice VLM evaluation when a scorer appends a reasoning cue but reads answer-label logits before the model generates any rationale. We call this CoT-prefix scoring. On ScienceQA, Qwen2.5-VL-7B drops from 80.76% to 45.48%, and across five option-content permutations 93.54% of CoT-prefix predictions select the first slot. Condition-matched linear probes recover 78.94% from the same hidden states, while free generation restores 75.24%, showing that the answer often survives the prefix and the immediate readout fails. Vocabulary and layer diagnostics explain the mismatch: probability mass moves toward continuation tokens, while answer information remains linearly accessible in late layers. The effect recurs with varying severity across datasets and models, though not universally. These results show that CoT-prefix scoring can confound model knowledge with an evaluation-interface mismatch and should be avoided unless the requested and scored output events are aligned.