TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs

📄 arXiv: 2505.20777v1 📥 PDF

作者: Zhehan Kan, Yanlin Liu, Kun Yin, Xinghua Jiang, Xin Li, Haoyu Cao, Yinsong Liu, Deqiang Jiang, Xing Sun, Qingmin Liao, Wenming Yang

分类: cs.CV

发布日期: 2025-05-27

💡 一句话要点

提出TACO算法，通过强化学习优化LVLM中的长链推理与数据学习，解决推理不一致等问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 强化学习 大型语言模型 多模态学习 长链推理 思考-答案一致性 回滚重采样 LVLM微调

📋 核心要点

  1. 现有方法在多模态环境中复制LLM推理能力时，存在推理与答案不一致、模型不稳定和数据学习效率低等问题。
  2. TACO算法通过引入“思考-答案一致性”和“回滚重采样策略”，实现了更稳定和高效的长链推理学习。
  3. 实验表明，TACO算法在REC和VQA任务上，通过微调LVLM，显著提高了模型在分布内和分布外数据集上的性能。

📝 摘要（中文）

本文提出了一种名为TACO的强化学习算法，用于视觉推理，旨在解决大型语言模型（LLM）在多模态环境中复制DeepSeek R1推理能力时面临的挑战，包括推理与最终答案不一致、长链探索期间模型不稳定和崩溃以及数据学习效率低等问题。TACO基于广义强化策略优化（GRPO），引入了“思考-答案一致性”，将推理与答案一致性紧密结合，确保答案基于周密的推理。此外，还引入了“回滚重采样策略”，自适应地移除问题样本并重新引入采样器，从而实现稳定的长链探索和未来的学习机会。TACO还采用自适应学习计划，专注于中等难度样本，以优化数据效率。此外，提出了“测试时分辨率缩放”方案，以解决推理过程中由于分辨率变化导致的性能下降问题，同时平衡计算开销。在REC和VQA任务的分布内和分布外基准测试中进行的大量实验表明，微调LVLM可以显著提高性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在视觉推理任务中，特别是长链推理场景下，存在的推理过程与最终答案不一致的问题。现有方法在尝试复制DeepSeek R1的推理能力时，面临模型在长链探索中不稳定、容易崩溃，以及数据学习效率低下的挑战。这些问题限制了LVLM在复杂视觉推理任务中的应用。

核心思路：TACO的核心思路是通过强化学习，显式地建模推理过程，并引入“思考-答案一致性”来约束模型的行为。具体来说，模型在每一步推理时，不仅要生成合理的中间步骤，还要确保这些步骤最终能够导出正确的答案。通过这种方式，TACO鼓励模型进行更严谨、更可靠的推理，从而提高答案的准确性。

技术框架：TACO算法基于广义强化策略优化（GRPO）。整体框架包含以下几个主要模块：1) 环境交互模块：LVLM与视觉环境进行交互，执行推理步骤。2) 奖励函数设计：基于“思考-答案一致性”设计奖励函数，鼓励推理过程与最终答案保持一致。3) 策略优化模块：使用GRPO算法优化LVLM的推理策略。4) 回滚重采样策略：自适应地移除问题样本并重新引入采样器，以提高训练的稳定性和效率。5) 测试时分辨率缩放：在测试阶段，通过调整输入图像的分辨率，平衡计算开销和推理性能。

关键创新：TACO的关键创新在于“思考-答案一致性”的引入和“回滚重采样策略”的设计。“思考-答案一致性”将推理过程与最终答案紧密结合，避免了模型生成无意义或错误的推理步骤。“回滚重采样策略”则提高了训练的稳定性和效率，使模型能够更好地探索长链推理空间。与现有方法相比，TACO更注重推理过程的质量，而不仅仅是最终答案的正确性。

关键设计：在奖励函数设计方面，TACO会根据推理步骤的合理性和最终答案的正确性给予不同的奖励。具体来说，如果推理步骤能够导出正确的答案，则给予较高的奖励；如果推理步骤不合理或无法导出正确的答案，则给予较低的奖励或惩罚。在“回滚重采样策略”中，TACO会根据样本的训练情况，自适应地调整采样概率，优先采样那些训练效果不佳的样本。此外，测试时分辨率缩放方案通过实验确定最佳缩放比例，以平衡计算开销和推理精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TACO算法在REC和VQA任务上取得了显著的性能提升。在分布内数据集上，TACO算法的性能超过了现有方法。更重要的是，TACO算法在分布外数据集上也表现出了良好的泛化能力，表明其具有较强的鲁棒性。具体的性能数据在论文中详细展示，证明了TACO算法的有效性。

🎯 应用场景

TACO算法可应用于各种需要复杂视觉推理的场景，例如视觉问答、图像编辑、机器人导航等。通过提高LVLM的推理能力，TACO可以帮助机器更好地理解和处理视觉信息，从而实现更智能、更可靠的应用。例如，在医疗影像分析中，TACO可以帮助医生更准确地诊断疾病；在自动驾驶中，TACO可以帮助车辆更好地理解周围环境，从而提高驾驶安全性。

📄 摘要（原文）

DeepSeek R1 has significantly advanced complex reasoning for large language models (LLMs). While recent methods have attempted to replicate R1's reasoning capabilities in multimodal settings, they face limitations, including inconsistencies between reasoning and final answers, model instability and crashes during long-chain exploration, and low data learning efficiency. To address these challenges, we propose TACO, a novel reinforcement learning algorithm for visual reasoning. Building on Generalized Reinforcement Policy Optimization (GRPO), TACO introduces Think-Answer Consistency, which tightly couples reasoning with answer consistency to ensure answers are grounded in thoughtful reasoning. We also introduce the Rollback Resample Strategy, which adaptively removes problematic samples and reintroduces them to the sampler, enabling stable long-chain exploration and future learning opportunities. Additionally, TACO employs an adaptive learning schedule that focuses on moderate difficulty samples to optimize data efficiency. Furthermore, we propose the Test-Time-Resolution-Scaling scheme to address performance degradation due to varying resolutions during reasoning while balancing computational overhead. Extensive experiments on in-distribution and out-of-distribution benchmarks for REC and VQA tasks show that fine-tuning LVLMs leads to significant performance improvements.