Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment

📄 arXiv: 2607.14682v1 📥 PDF

作者: Harikrishnan P M, Goutham Vignesh, Ganesh Parab, Saisubramaniam Gopalakrishnan, Vishal Vaddina, Varun V, Rohit Agrawal

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-07-16

备注: Accepted at ICML 2026, Workshop on Efficient Multimodal Question Answering (EMM-QA)

💡 一句话要点

提出Perception-RFT框架以解决多模态文档问答中的推理挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态问答 视觉定位 群体相对策略优化 推理过程 训练效率 信息检索 智能问答 模型优化

📋 核心要点

  1. 现有的多模态文档问答方法面临着需要大量标注数据和推理过程冗长的问题，导致优化瓶颈。
  2. 本文提出Perception-RFT框架，通过群体相对策略优化直接对齐视觉特征与输出，避免中间推理。
  3. 实验结果显示，推理模型在训练中抑制推理痕迹，减少推理标记长度超过60%，并且早期SFT到RL的过渡显著提高了效率。

📝 摘要（中文）

高效的多模态文档问答中，明确的视觉定位仍然是一个开放的挑战。现有方法分为需要大量标注数据的监督微调(SFT)和依赖冗长中间推理的强化学习(RL)。本文提出了Perception-RFT框架，利用群体相对策略优化(GRPO)直接将视觉特征与结构化输出对齐，避免中间推理标记。通过构建推理变体进行严格评估，发现推理模型在训练中抑制推理痕迹，最终收敛至基于感知的策略，显著减少查询的推理标记长度。我们还确认了SFT饱和和冷启动RL不稳定性在多模态中的延续，并识别出新的基础偏差，展示了早期SFT到RL的过渡可以在减少65%训练数据的情况下实现相当的精度。

🔬 方法详解

问题定义：本文旨在解决多模态文档问答中视觉定位的挑战，现有方法依赖于大量标注数据和复杂的推理过程，导致效率低下和优化瓶颈。

核心思路：提出Perception-RFT框架，利用群体相对策略优化(GRPO)直接将视觉特征与结构化输出对齐，避免中间推理标记，从而提高训练效率和推理速度。

技术框架：该框架包括数据预处理、视觉特征提取、策略优化和输出对齐等主要模块，整体流程旨在简化推理过程，提升模型性能。

关键创新：最重要的创新在于通过直接感知对齐替代传统推理过程，显著减少了推理标记的使用，提升了训练效率。

关键设计：在参数设置上，采用4B参数规模的模型，损失函数设计为优化视觉特征与输出的对齐度，网络结构则强调视觉特征的提取和处理效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，推理模型在训练中抑制推理痕迹，最终使得每个查询的推理标记长度减少超过60%。此外，早期从SFT到RL的过渡在使用65%更少的训练数据的情况下，仍能实现相当的精度，显示出该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、信息检索和多模态交互等。通过提高多模态文档问答的效率和准确性，能够在教育、医疗和法律等行业中实现更高效的信息获取和决策支持，未来可能推动相关技术的广泛应用与发展。

📄 摘要（原文）

Efficient multimodal document question answering with explicit visual grounding, locating the precise document region that supports each answer remains an open challenge. Current approaches bifurcate into Supervised Fine-Tuning (SFT), which requires large annotated datasets and reaches optimization plateaus, and reasoning-centric Reinforcement Learning (RL), which depends on verbose intermediate traces that inflate inference token cost without clear benefit. We introduce Perception-RFT, a training framework that applies Group Relative Policy Optimization (GRPO) to multimodal document QA, bypassing intermediate reasoning tokens to directly align visual features with structured grounding outputs. To rigorously evaluate the necessity of reasoning, we construct a reasoning variant under identical reward settings. We find that reasoning-enabled models suppress their reasoning traces during training, converging to direct perception-based policies at the 4B parameter scale, reducing per-query inference token length by more than 60%, while reasoning-enabled RL underperforms perception-only training. Through a fine-grained analysis of Qwen3-VL-4B optimization dynamics, we confirm that SFT saturation and cold-start RL instability established in text-domain post-training extend to multimodal, and identify a previously uncharacterized Grounding Divergence: a selective trade-off between semantic robustness and geometric precision on two out of distribution (OOD) benchmarks (4,828 samples) under joint RL optimization. We further show that an early SFT$\rightarrow$RL transition achieves comparable precision with 65% less training data.