ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills

📄 arXiv: 2610.12403v1 📥 PDF

作者: Hongxing Li, Dingming Li, Yixin Li, Yong Du, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

分类: cs.CV, cs.CL

发布日期: 2026-10-08

备注: Code: https://github.com/ZJU-REAL/ViSkill

🔗 代码/项目: GITHUB

💡 一句话要点

提出ViSkill框架以增强视觉语言模型代理的技能学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉技能学习 闭环反馈 多模态学习 样本效率 策略优化 机器人控制 游戏智能体

📋 核心要点

  1. 现有方法多为文本中心，忽视了空间布局和几何结构，导致样本效率低下。
  2. ViSkill框架通过复合视觉技能卡直接为视觉语言模型代理提供技能，形成技能与策略的相互促进机制。
  3. 在多个环境下评估，ViSkill的成功率达到0.89，冷启动后提升至0.91，表现优于所有基线方法。

📝 摘要（中文）

技能增强代理通过将成功轨迹提炼为可重用策略来提高样本效率。然而，大多数现有方法仍然以文本为中心，将空间布局和动作状态对应线性化为语言，导致重要的几何结构丢失。ViSkill框架通过将成功交互编码为复合视觉技能卡，直接为视觉语言模型代理提供可访问的技能，形成技能积累与策略改进的闭环反馈机制。经过在Sokoban、FrozenLake和PrimitiveSkill上的评估，ViSkill的整体成功率达到0.89，冷启动初始化后提升至0.91，超越所有评估的基线方法，并且收敛速度快于标准PPO。

🔬 方法详解

问题定义：本论文旨在解决现有技能学习方法中，文本中心化导致的几何结构丢失和样本效率低下的问题。现有方法往往将技能与策略优化分开，未能实现二者的相互促进。

核心思路：ViSkill框架通过将成功交互编码为复合视觉技能卡，使得视觉语言模型代理能够直接访问这些技能，从而在推理和奖励塑造中利用视觉证据，形成闭环反馈机制。

技术框架：ViSkill的整体架构包括技能库、技能检索、推理模块和奖励塑造模块。成功轨迹被提炼并存储在技能库中，代理在推理时检索相关技能以指导决策。

关键创新：ViSkill的核心创新在于将视觉技能与策略优化结合，形成技能积累与策略改进的闭环反馈机制。这一设计使得技能学习与策略优化能够相互促进，提升了样本效率。

关键设计：在参数设置上，ViSkill采用了冷启动机制以加速早期学习。损失函数设计上，结合了技能检索的准确性与策略优化的有效性，确保了模型在训练过程中的稳定性与收敛速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Sokoban、FrozenLake和PrimitiveSkill等环境中，ViSkill的整体成功率达到了0.89，冷启动初始化后成功率提升至0.91，显著优于所有评估的基线方法，并且收敛速度快于标准PPO，展示了其在样本效率和学习速度上的优势。

🎯 应用场景

ViSkill框架在机器人控制、游戏智能体和自动化决策等领域具有广泛的应用潜力。通过有效地学习和利用视觉技能，代理能够在复杂环境中更高效地进行决策，提升智能体的自主学习能力和适应性。未来，ViSkill有望推动多模态学习和人机交互的进一步发展。

📄 摘要（原文）

Skill-augmented agents improve sample efficiency by distilling successful trajectories into reusable strategies. Yet most existing approaches remain text-centric, linearizing spatial layouts and action-state correspondences into language that loses critical geometric structure. Recent efforts have begun incorporating visual evidence, but construct and update skills separately from policy optimization, leaving their mutual improvement underexplored. We propose ViSkill, a visual-native skill learning framework that encodes successful interactions as composite visual skill cards directly accessible to VLM agents. Retrieved skills guide both inference and reward shaping, while successful trajectories are distilled back into the library, forming a closed feedback loop in which skill accumulation and policy improvement reinforce each other. An optional cold-start mechanism further accelerates early-stage learning. Evaluated on Sokoban, FrozenLake, and PrimitiveSkill, ViSkill achieves an overall success rate of 0.89, rising to 0.91 with cold-start initialization, outperforming all evaluated proprietary and open-source baselines while converging faster than standard PPO. Our code is available at https://github.com/ZJU-REAL/ViSkill.