BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

📄 arXiv: 2605.30660v1 📥 PDF

作者: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

分类: cs.LG, cs.RO

发布日期: 2026-05-28

💡 一句话要点

BOKBO：为VLA策略提供校准后的拒绝执行，保障安全操作。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言动作 机器人安全 保形预测 拒绝选项 策略校准

📋 核心要点

  1. 现有的视觉-语言-动作(VLA)策略在测试时，当所有候选动作都不安全时，会执行违规动作且没有警告。
  2. BOKBO通过引入保形拒绝层，为VLA策略提供有限样本的无分布保证，确保执行动作的安全性。
  3. 实验表明，BOKBO能有效提高任务成功率，并能适应不同的任务和环境，具有良好的泛化能力。

📝 摘要（中文）

本文提出BOKBO，一种针对视觉-语言-动作(VLA)策略中K样本推理的首个保形拒绝层，为已执行的违规率提供有限样本的无分布保证。该方法包含全局和按任务(Mondrian)两种变体，其中按任务变体缩小了最困难任务上的条件差距。分析表明，基于扰动的K采样下，策略内部非一致性得分存在结构性失效：基础策略置信度代理和K样本不一致性与动作噪声超参数σ的相关性高达0.98，而与实际安全违规的相关性接近噪声下限。通过token级温度采样复制分析，发现该失效是机制特定的，并且在基于策略随机性的采样下得到部分缓解。一个基于语义视觉特征和任务身份的已学习违规预测器支持紧密的校准：在libero_object_temp_x0.1上，当ε=0.05时，使用OpenVLA-OFT，条件CRC界限在86%的bootstrap分割上成立，覆盖率为78%，净任务成功率为70%。Mondrian-BOKBO将每个任务的最小条件保持率从0.71提高到0.93。结果在5个训练种子中稳定，在π_0-FAST上复制在bootstrap噪声范围内，在libero_spatial_temp_x0.1上作为同等基准成立，并在四个套件内分布偏移中幸存。此外，我们还发现并纠正了一个方法论上的缺陷：远低于专家典型操作力的全局设置力阈值将不安全行为与正常操作混淆，使违规率膨胀了5倍。

🔬 方法详解

问题定义：现有的视觉-语言-动作(VLA)策略，如RoboMonkey、SEAL等，在推理时会采样K个候选动作块，并执行验证器认为最佳的动作。然而，当所有K个候选动作都不安全时，系统会执行违规动作，且没有任何预警机制。这在实际应用中会带来安全隐患，因此需要一种方法来避免执行不安全的动作。

核心思路：BOKBO的核心思路是引入一个保形拒绝层，该层能够根据当前的状态和候选动作的安全性，决定是否拒绝执行任何动作。通过这种方式，BOKBO可以在保证任务成功率的同时，最大限度地减少执行不安全动作的风险。该方法基于保形预测的思想，为已执行的违规率提供有限样本的无分布保证。

技术框架：BOKBO的技术框架主要包括以下几个模块：1) 基础VLA策略，用于生成K个候选动作；2) 非一致性得分计算模块，用于评估每个候选动作的安全性；3) 保形拒绝层，根据非一致性得分和预设的置信水平，决定是否拒绝执行任何动作；4) 违规预测器，用于预测候选动作的安全性，并辅助保形拒绝层的决策。该框架可以灵活地集成到现有的VLA策略中。

关键创新：BOKBO最重要的技术创新点在于引入了保形拒绝层的概念，并将其应用于VLA策略中。与现有的方法相比，BOKBO能够提供更强的安全保证，并且能够适应不同的任务和环境。此外，BOKBO还提出了按任务(Mondrian)的变体，进一步提高了在困难任务上的性能。

关键设计：BOKBO的关键设计包括：1) 非一致性得分的计算方法，论文分析了策略内部非一致性得分在扰动下的失效问题，并提出了相应的解决方案；2) 保形拒绝层的决策规则，该规则基于保形预测的理论，能够保证已执行违规率的上限；3) 违规预测器的训练方法，论文使用语义视觉特征和任务身份作为输入，训练了一个能够准确预测候选动作安全性的违规预测器。

📊 实验亮点

实验结果表明，BOKBO能够有效地减少VLA策略的违规率，同时保持较高的任务成功率。在libero_object_temp_x0.1数据集上，当ε=0.05时，使用OpenVLA-OFT，条件CRC界限在86%的bootstrap分割上成立，覆盖率为78%，净任务成功率为70%。Mondrian-BOKBO将每个任务的最小条件保持率从0.71提高到0.93。此外，论文还指出了现有方法中力阈值设置不合理的问题，并提出了相应的解决方案。

🎯 应用场景

BOKBO可应用于各种需要安全保障的机器人操作任务中，例如家庭服务机器人、工业机器人、医疗机器人等。通过减少不安全动作的执行，BOKBO可以提高机器人的可靠性和安全性，降低事故发生的风险，从而促进机器人在更广泛领域的应用。

📄 摘要（原文）

Test-time scaling for vision-language-action (VLA) policies, methods such as RoboMonkey, SEAL, MG-Select, and V-GPS, samples K candidate action chunks at inference and executes the verifier-best. When all K candidates are unsafe, the system executes a violating action with no warning. We propose BOKBO, the first conformal abstention layer for K-sample VLA inference, providing finite-sample distribution-free guarantees on executed-violation rate. We provide both global and per-task (Mondrian) variants, with the per-task variant closing the conditional gap on the hardest tasks. Our analysis exposes a structural failure of policy-internal nonconformity scores under perturbation-based K-sampling: the base-policy confidence proxy and K-sample disagreement correlate at 0.98 with the action-noise hyperparameter $σ$, while correlating at the noise floor with actual safety violations. We test the failure's scope by replicating the analysis under token-level temperature sampling and find the failure is mechanism-specific and partially mitigated under policy-stochasticity-based sampling. A learned violation predictor conditioned on semantic visual features and task identity supports tight calibration: at $ε$ = 0.05 on libero_object_temp_x0.1 with OpenVLA-OFT, the conditional CRC bound holds on 86% of bootstrap splits with 78% coverage and 70% net task success. Mondrian-BOKBO raises the minimum per-task conditional hold fraction from 0.71 to 0.93. Results are stable across 5 training seeds, replicate within bootstrap noise on $π_0$-FAST, hold on libero_spatial_temp_x0.1 as a co-equal benchmark, and survive four within-suite distribution shifts. We additionally identify and correct a methodological pitfall: globally-set force thresholds well below expert-typical manipulation forces conflate unsafe behavior with normal manipulation, inflating violation rates by $5\times$.