SPEAR: Selective Preference Elicitation with Adaptive Rewards for VLM-Guided Robotic Manipulation
作者: Zewen Wu, Ruizhe Liu, Pei Zhou, Feng Chen, Yanchao Yang
分类: cs.RO
发布日期: 2026-10-15
备注: 8 pages, 4 figures. Accepted at IROS 2026. Project page: https://zevinwu.github.io/spear-project
💡 一句话要点
提出SPEAR框架以解决VLM引导的机器人操作中的偏好标注效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 机器人操作 偏好标注 自适应奖励 在线学习 动态环境 智能家居 自动化
📋 核心要点
- 现有的视觉语言模型在机器人操作中的偏好标注效率低，推理成本高且常常不作答。
- 提出SPEAR框架，通过区分度感知查询选择和自适应奖励转移机制，提高偏好标注的效率和准确性。
- 实验结果显示，SPEAR在操作任务中实现了88.9%的成功率，较基线提升23.3个百分点，且训练时间显著减少。
📝 摘要（中文）
近年来，视觉语言模型（VLMs）使得机器人操作中的偏好标注自动化成为可能，但其实际应用仍面临挑战。每次查询的推理成本较高，同时VLMs在视觉比较困难的情况下常常选择不作答。为此，本文提出了SPEAR框架，通过两种协同机制将VLMs转变为高效的偏好预言器。首先，设计了区分度感知的查询选择机制，以减少不作答率，专注于信息量大且可区分的比较。其次，采用自适应奖励转移机制，在基于偏好的细化之前，利用VLM合成的指导来引导探索。实验表明，SPEAR在操作基准测试中实现了88.9%的平均成功率，超出基线23.3个百分点，同时显著减少了不作答率和训练时间，展示了其在真实硬件上的端到端应用能力。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在机器人操作中偏好标注的低效率和高推理成本问题。现有方法在面对视觉比较困难的情况时，常常选择不作答，导致信息获取不足。
核心思路：SPEAR框架通过设计区分度感知的查询选择机制和自适应奖励转移机制，旨在提高偏好标注的效率。前者确保只选择信息量大且可区分的比较，后者则在偏好细化之前利用VLM合成的指导来引导探索。
技术框架：SPEAR的整体架构包括两个主要模块：查询选择模块和奖励转移模块。查询选择模块负责识别和选择最具信息量的比较，而奖励转移模块则通过自适应机制引导探索过程。
关键创新：SPEAR的创新在于将区分度感知的查询选择与自适应奖励转移相结合，显著提高了偏好标注的效率和准确性。这一设计与传统方法的本质区别在于其能够有效减少不作答率并加速学习过程。
关键设计：在设计中，采用了特定的损失函数来优化查询选择的准确性，并通过动态调整奖励机制来促进探索。此外，网络结构经过精心设计，以支持高效的在线学习和实时反馈。
🖼️ 关键图片
📊 实验亮点
在实验中，SPEAR在操作基准测试中实现了88.9%的平均成功率，较基线提升了23.3个百分点。同时，SPEAR显著减少了不作答率和训练时间，尤其在接触丰富的任务中表现突出，展示了其在真实环境中的有效性。
🎯 应用场景
SPEAR框架在机器人操作领域具有广泛的应用潜力，尤其是在需要快速适应和学习的动态环境中。其高效的偏好标注能力可以用于智能家居、自动化仓储和服务机器人等场景，提升机器人在复杂任务中的表现。未来，该框架的应用可能推动机器人学习的自动化和智能化进程。
📄 摘要（原文）
Recent Vision-Language Models (VLMs) enable automated preference labeling for robotic manipulation, yet their deployment remains impractical since each query incurs substantial inference cost, while VLMs frequently abstain on visually challenging comparisons. We propose SPEAR, a framework that transforms VLMs into efficient preference oracles via two synergistic mechanisms. First, we design distinguishability-aware query selection to reduce abstention rates by targeting only informative and distinguishable comparisons. Second, we deploy an adaptive reward transition that bootstraps exploration with VLM-synthesized guidance before preference-based refinement. Experiments on the manipulation benchmarks demonstrate that SPEAR achieves 88.9% average success, outperforming baselines by 23.3 percentage points, while significantly reducing abstention and wall-clock training time on contact-rich tasks. SPEAR learns three Mobile ALOHA manipulation tasks fully online on real hardware, demonstrating end-to-end real-world applicability. By addressing query efficiency and exploration challenges, SPEAR establishes VLMs as practical preference oracles for scalable robot learning without manual reward engineering.