ReFineVLA: Multimodal Reasoning-Aware Generalist Robotic Policies via Teacher-Guided Fine-Tuning

📄 arXiv: 2604.17800v1 📥 PDF

作者: Tuan Van Vo, Tan Q. Nguyen, Khang Nguyen, Nhat Xuan Tran, Duy H. M. Nguyen, An T. Le, Ngo Anh Vien, Minh Nhat Vu

分类: cs.RO, cs.CV

发布日期: 2026-04-20

备注: arXiv admin note: substantial text overlap with arXiv:2505.19080

💡 一句话要点

ReFineVLA：通过教师引导微调实现多模态推理的通用机器人策略

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 机器人操作 多模态推理 教师引导学习 模型微调

📋 核心要点

  1. 现有的视觉-语言-动作模型(VLA)通常忽略显式推理，直接学习输入-动作映射，缺乏对复杂任务的解释性和泛化能力。
  2. ReFineVLA通过专家教师模型生成推理依据，增强机器人数据集，引导VLA模型学习推理，从而提升模型的推理能力。
  3. 在SimplerEnv模拟环境中，ReFineVLA在WidowX和Google Robot任务上均取得了优于现有技术的成功率。

📝 摘要（中文）

本文提出ReFineVLA，一个多模态推理感知框架，通过教师引导的理由来微调视觉-语言-动作(VLA)模型。该方法首先利用专家教师模型生成推理依据，以此扩充机器人数据集，引导VLA模型学习推理其动作。然后，使用推理增强的数据集，通过ReFineVLA微调预训练的VLA模型，在保持底层泛化能力的同时，提升推理能力。通过注意力图可视化分析，验证了ReFineVLA在视觉观察、语言提示和待执行动作之间的一致性，反映了模型关注相关任务和动作的能力。实验表明，ReFineVLA训练的模型在视觉-语言和动作域之间表现出有意义的一致性，突出了增强的多模态理解和泛化能力。在SimplerEnv模拟环境中的WidowX和Google Robot任务套件上评估，ReFineVLA取得了最先进的性能，在成功率上优于第二好的方法。

🔬 方法详解

问题定义：现有的视觉-语言-动作(VLA)模型在处理复杂、长时程的机器人操作任务时，往往缺乏显式的推理过程，容易学习到直接的输入-动作映射，忽略了中间的逻辑步骤。这导致模型在可解释性和泛化能力方面存在不足，难以应对未知的环境和任务变化。

核心思路：ReFineVLA的核心思路是通过引入教师引导的推理过程，显式地训练VLA模型进行推理。具体来说，首先利用一个专家教师模型为机器人数据集生成推理依据，然后利用这些推理依据来微调预训练的VLA模型。这样做的目的是让VLA模型不仅学习到输入-动作的映射关系，还要学习到支撑这些动作的推理过程，从而提高模型的可解释性和泛化能力。

技术框架：ReFineVLA框架主要包含两个阶段：1) 数据集增强阶段：利用专家教师模型为原始机器人数据集生成推理依据，形成推理增强的数据集。2) 模型微调阶段：使用推理增强的数据集，通过ReFineVLA微调预训练的VLA模型。在微调过程中，模型同时学习执行动作和生成相应的推理依据。整体流程是，输入视觉观察和语言指令，模型输出动作以及对该动作的推理过程。

关键创新：ReFineVLA的关键创新在于将推理过程显式地融入到VLA模型的训练中。与以往直接学习输入-动作映射的方法不同，ReFineVLA通过教师引导的方式，让模型学习生成推理依据，从而提高模型的可解释性和泛化能力。这种方法使得模型能够更好地理解任务需求，并根据环境变化进行调整。

关键设计：关于专家教师模型的选择，论文中并未明确说明具体模型类型，但强调其能够生成合理的推理依据。微调阶段的具体损失函数设计也未详细描述，但可以推测可能包含动作预测损失和推理依据生成损失两部分。具体的网络结构细节也未在论文中详细说明，但强调了使用预训练的VLA模型进行微调，以保持模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReFineVLA在SimplerEnv模拟环境中的WidowX和Google Robot任务套件上进行了评估，实验结果表明，ReFineVLA取得了最先进的性能，在成功率上优于第二好的方法。这表明ReFineVLA能够有效地提升VLA模型的推理能力和泛化能力，使其能够更好地完成复杂的机器人操作任务。

🎯 应用场景

ReFineVLA具有广泛的应用前景，可用于提升机器人操作的智能化水平，例如在家庭服务、工业自动化、医疗辅助等领域。通过增强机器人的推理能力，使其能够更好地理解人类指令，适应复杂环境，完成各种操作任务。该研究有助于推动机器人技术的发展，使其更加智能化、自主化。

📄 摘要（原文）

Vision-Language-Action (VLA) models have gained much attention from the research community thanks to their strength in translating multimodal observations with linguistic instructions into desired robotic actions. Despite their advancements, VLAs often overlook explicit reasoning and learn the functional input-action mappings, omitting crucial logical steps, which are especially pronounced in interpretability and generalization for complex, long-horizon manipulation tasks. In this work, we propose ReFineVLA, a multimodal reasoning-aware framework that fine-tunes VLAs with teacher-guided reasons. We first augment robotic datasets with reasoning rationales generated by an expert teacher model, guiding VLA models to learn to reason about their actions. Then, we fine-tune pre-trained VLAs with the reasoning-enriched datasets with ReFineVLA, while maintaining the underlying generalization abilities and boosting reasoning capabilities. We also conduct attention map visualization to analyze the alignment among visual observation, linguistic prompts, and to-be-executed actions of ReFineVLA, reflecting the model is ability to focus on relevant tasks and actions. Through this additional step, we explore that ReFineVLA-trained models exhibit a meaningful agreement between vision-language and action domains, highlighting the enhanced multimodal understanding and generalization. Evaluated across a suite of simulated manipulation benchmarks on SimplerEnv with both WidowX and Google Robot tasks, ReFineVLA achieves state-of-the-art performance, in success rate over the second-best method on the both the WidowX benchmark and Google Robot Tasks.