PIVOT: Pivot-Aware On Policy Self Distillation for Multi-Turn VLM Agents

📄 arXiv: 2609.35303v1 📥 PDF

作者: Jiazhou Zhou, Hu Zhou, Yucheng Chen, Jinyuan Qu, Ying-Cong Chen, Lei Zhang

分类: cs.CV

发布日期: 2026-09-28

备注: 11 pages for the main paper, 20 pages for the supplementary

💡 一句话要点

提出PIVOT以解决多轮VLM代理训练中的奖励稀疏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多轮对话 强化学习 策略优化 自蒸馏 视觉定位 智能代理 任务自动化

📋 核心要点

  1. 现有的多轮VLM代理训练方法在面对均匀失败时存在零梯度沉默和信用分配不准确的问题。
  2. PIVOT框架通过内部化枢轴定位和状态恢复，消除了环境回滚的需求，从而提高了训练效率。
  3. 在五个多轮VLM代理任务中，PIVOT的整体准确率达到0.90，较基线提升8%，并在其他任务中表现更佳。

📝 摘要（中文）

通过可验证奖励的强化学习（RLVR）和群体相对策略优化（GRPO），多轮VLM代理的训练面临均匀失败的零梯度沉默和粗糙的情节级信用分配问题。尽管在政策蒸馏（OPD）和自蒸馏（OPSD）中使用了事后信息来缓解稀疏奖励，但其机制仍不明确。本文提出的PIVOT框架通过内部化枢轴定位和状态恢复，直接在令牌级参数更新中消除了环境回滚，提升了训练效率和测试时的表现。PIVOT在五个多轮VLM代理任务中表现出色，整体准确率达到0.90，相较于基线提升8%。

🔬 方法详解

问题定义：本文旨在解决多轮VLM代理训练中的奖励稀疏问题，现有方法在均匀失败情况下表现出零梯度沉默，导致训练效果不佳。

核心思路：PIVOT框架通过在令牌级别进行参数更新，内部化枢轴定位和状态恢复，避免了环境回滚的计算开销，从而提升了训练效率和效果。

技术框架：PIVOT框架包含三个主要模块：失败分析器用于定位枢轴步骤并诊断失败模式；独立教师在特权诊断上下文中重新评分失败的令牌；学生则优化联合GRPO和信心门控OPD目标。

关键创新：PIVOT的创新在于将枢轴定位和状态恢复直接整合到训练过程中，避免了传统方法中环境回滚的复杂性，从而实现了更高效的训练。

关键设计：在设计中，PIVOT采用了特定的损失函数和网络结构，以支持教师和学生之间的有效信息传递，同时确保在测试时去除教师和分析器分支以简化模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PIVOT在五个多轮VLM代理任务中取得了显著的实验结果，整体准确率达到0.90，相较于SFT+GRPO基线提升8%，在Qwen3-VL-2B任务中更是提升了12%。这些结果表明PIVOT在处理复杂任务时的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能代理、机器人导航和复杂任务的自动化解决方案。通过提升多轮VLM代理的训练效率，PIVOT能够在实际应用中实现更高的智能化水平，推动人机交互和自动化系统的发展。未来，PIVOT的框架可扩展至更多领域，如游戏AI和虚拟助手等。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) via Group-Relative Policy Optimization (GRPO) is widely used for multi-turn VLM agent training, yet it suffers from zero-gradient silence on uniform failures and coarse episode-level credit assignment. While On-Policy Distillation (OPD) and On-Policy Self-Distillation (OPSD) mitigate sparse rewards using hindsight information, their underlying mechanisms remain poorly understood. Through controlled counterfactual rollback probes across five multi-turn VLM agent benchmarks, we reveal that performance gains in OPSD/OPD are largely driven by physical state rollback at the pivot step, defined as the first unrecoverable action without remaining step budget. However, physical state rollbacks are computationally prohibitive and infeasible in real-world environments. To bridge this gap, we present Pivot-Aware Internalized Visual On-Policy Training (PIVOT), an RL framework that internalizes pivot localization and state restoration directly into token-level parameter updates, eliminating environment rollbacks during RL training and additional skill hints at test time. PIVOT unifies three functional roles within a single architecture: a failure Analyzer non-invasively localizes the pivot step and diagnoses failure modes from visual trajectory collages and action logs; a detached Teacher re-scores failed tokens under this privileged diagnostic context; and a Student optimizes joint GRPO and confidence-gated OPD objectives. At test time, both Teacher and Analyzer branches are stripped. Evaluated on five multi-turn VLM agent tasks across cognitive grid puzzles, 3D embodied control and navigation, and generative reasoning, PIVOT achieves 0.90 overall accuracy on Qwen2.5-VL-3B (+8% over SFT+GRPO baseline and +5% over previous SOTA) and scales to 0.92 on Qwen3-VL-2B (+12% over SFT+GRPO baseline).