VADF: Vision-Adaptive Diffusion Policy Framework for Efficient Robotic Manipulation

📄 arXiv: 2604.15938v1 📥 PDF

作者: Xinglei Yu, Zhenyang Liu, Shufeng Nan, Simo Wu, Yanwei Fu

分类: cs.RO

发布日期: 2026-04-17

💡 一句话要点

VADF：视觉自适应扩散策略框架，提升机器人操作效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 扩散策略 难负样本挖掘 视觉自适应 分层任务分割

📋 核心要点

  1. 现有扩散策略在机器人操作中存在难负样本不平衡问题，导致训练慢和推理失败。
  2. VADF框架通过自适应损失网络（ALN）和分层视觉任务分割器（HVTS）解决上述问题。
  3. 实验表明，VADF能显著减少收敛步骤，提高推理早期成功率，且易于集成。

📝 摘要（中文）

扩散策略在机器人操作中日益普及，但由于均匀采样和缺乏样本难度感知，面临着严重的难负样本不平衡问题，导致训练收敛缓慢和频繁的推理超时失败。我们提出了VADF（视觉自适应扩散策略框架），一个视觉驱动的双重自适应框架，它显著减少了收敛步骤，并在推理中实现了早期成功。VADF采用模型无关的设计，可以无缝集成到任何扩散策略架构中。在训练期间，我们引入了自适应损失网络（ALN），这是一个轻量级的基于MLP的损失预测器，可以实时量化每一步的样本难度。在难负样本挖掘的指导下，ALN执行加权采样以优先考虑高损失区域，从而实现自适应权重更新和更快的收敛。在推理中，我们设计了分层视觉任务分割器（HVTS），它基于视觉输入将高层任务指令分解为多阶段低层子指令。HVTS通过为简单动作分配更短的噪声时间表和更长的直接执行序列，为复杂动作分配更长的噪声步骤和更短的执行序列，从而自适应地将动作序列分割成简单和复杂的子任务，从而显著降低计算开销并显著提高早期成功率。

🔬 方法详解

问题定义：现有基于扩散模型的机器人操作策略，由于采用均匀采样策略，导致训练过程中难负样本比例过低，模型难以有效学习。这使得训练收敛速度慢，且在推理阶段容易出现超时失败的情况。因此，如何有效地解决难负样本不平衡问题，加速训练收敛，提高推理成功率，是本文要解决的核心问题。

核心思路：本文的核心思路是设计一个视觉自适应的扩散策略框架，该框架包含两个关键模块：自适应损失网络（ALN）和分层视觉任务分割器（HVTS）。ALN用于在训练过程中动态评估样本难度，并进行加权采样，从而解决难负样本不平衡问题。HVTS则用于在推理过程中根据视觉输入自适应地分割任务，并为不同难度的子任务分配不同的噪声时间表，从而降低计算开销，提高早期成功率。

技术框架：VADF框架包含训练和推理两个阶段。在训练阶段，ALN与扩散策略模型共同训练，用于预测每个时间步的损失，并根据损失值对样本进行加权采样。在推理阶段，HVTS首先根据视觉输入将高层任务指令分解为多阶段低层子指令，然后根据子指令的难度自适应地分配噪声时间表，最后执行相应的动作序列。

关键创新：本文的关键创新在于提出了ALN和HVTS两个模块，并将其集成到一个统一的框架中。ALN能够实时量化样本难度，并指导加权采样，从而有效地解决了难负样本不平衡问题。HVTS能够根据视觉输入自适应地分割任务，并为不同难度的子任务分配不同的噪声时间表，从而降低了计算开销，提高了早期成功率。

关键设计：ALN是一个轻量级的基于MLP的损失预测器，其输入为当前状态和动作，输出为预测的损失值。HVTS则采用分层结构，首先将高层任务指令分解为多个子任务，然后根据视觉输入判断每个子任务的难度，并为其分配相应的噪声时间表。对于简单的子任务，分配较短的噪声时间表和较长的直接执行序列；对于复杂的子任务，分配较长的噪声步骤和较短的执行序列。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VADF框架能够显著减少训练收敛所需的步骤，并在推理阶段提高早期成功率。与基线方法相比，VADF在多个机器人操作任务上取得了显著的性能提升。具体数据需要在论文中查找。

🎯 应用场景

该研究成果可广泛应用于各种机器人操作任务中，例如装配、抓取、放置等。通过提高训练效率和推理成功率，可以降低机器人部署成本，并提高其在复杂环境中的适应性。未来，该方法有望应用于更广泛的机器人领域，例如自动驾驶、医疗机器人等。

📄 摘要（原文）

Diffusion policies are becoming mainstream in robotic manipulation but suffer from hard negative class imbalance due to uniform sampling and lack of sample difficulty awareness, leading to slow training convergence and frequent inference timeout failures. We propose VADF (Vision-Adaptive Diffusion Policy Framework), a vision-driven dual-adaptive framework that significantly reduces convergence steps and achieves early success in inference, with model-agnostic design enabling seamless integration into any diffusion policy architecture. During training, we introduce Adaptive Loss Network (ALN), a lightweight MLP-based loss predictor that quantifies per-step sample difficulty in real time. Guided by hard negative mining, it performs weighted sampling to prioritize high-loss regions, enabling adaptive weight updates and faster convergence. In inference, we design the Hierarchical Vision Task Segmenter (HVTS), which decomposes high-level task instructions into multi-stage low-level sub-instructions based on visual input. It adaptively segments action sequences into simple and complex subtasks by assigning shorter noise schedules with longer direct execution sequences to simple actions, and longer noise steps with shorter execution sequences to complex ones, thereby dramatically reducing computational overhead and significantly improving the early success rate.