OGAM: Connecting Systematic Testing to Runtime Assurance through Object-Grounded Attention Monitoring for VLA Policies

📄 arXiv: 2610.05878v1 📥 PDF

作者: Haki Darwish, Xiangyu Yin, Changwen Li, Rongjie Yan, Francisco Gomes de Oliveira Neto, Chih-Hong Cheng

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-10-05

💡 一句话要点

提出OGAM以解决VLA策略的运行保障问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 运行时保障 注意力监测 动态调整 系统测试

📋 核心要点

  1. 现有的VLA策略在面对复杂场景时，无法有效处理超出基准的指令，导致执行失败。
  2. 本文提出OGAM，通过监测注意力偏差，将系统测试与运行时保障相结合，提前识别潜在失败。
  3. 实验结果表明，OGAM在87-100%的失败案例中有效阻止了失败，且错误停止率低，显示出其优越性。

📝 摘要（中文）

现有的视觉-语言-动作（VLA）策略在基准测试中仅暴露少量典型指令，而全面的部署测试几乎不可能。本文提出了对象基础注意监测（OGAM），将系统测试与运行时保障连接起来：测试揭示了成功与失败执行之间的注意力偏差，OGAM利用这一信号在有限测试之外阻止失败。通过动作模板与对象的成对组合生成场景基础指令，并单独测试保持意义的释义。所有87个超出基准的案例在OpenVLA、OpenVLA-OFT、UniVLA和$π_{0.5}$中揭示了问题行为，且无一完成24个可行指令。OGAM在四个策略中以5-12秒的中位时间停止了87-100%的失败案例，观察到的错误停止率为3-5%。

🔬 方法详解

问题定义：本文旨在解决VLA策略在复杂场景下执行失败的问题。现有方法在面对超出基准的指令时，无法有效识别和处理潜在的失败情况。

核心思路：OGAM通过监测注意力的偏差，连接系统测试与运行时保障，利用测试结果来识别并阻止执行失败。这样的设计使得系统能够在执行过程中动态调整，避免完全失败。

技术框架：OGAM的整体架构包括生成场景基础指令、测试释义、监测注意力偏差和动态时间规整等模块。首先生成指令，然后通过测试识别注意力偏差，最后进行动态调整。

关键创新：OGAM的核心创新在于将注意力监测与运行时保障结合，能够在执行过程中实时识别并阻止失败。这一方法与传统的静态测试方法有本质区别，后者无法适应动态变化的执行环境。

关键设计：OGAM采用了梯度加权的视觉注意力投影，通过对象掩码进行分组比较，并使用动态时间规整对比成功的参考轨迹。设置了早停阈值以应对持续偏差，目标错误停止率为$α=0.05$。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OGAM在四个不同的VLA策略中成功阻止了87-100%的失败案例，且在20秒的预算内，平均中位时间为5-12秒，错误停止率仅为3-5%。这些结果表明OGAM在运行时保障方面的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶系统和人机交互等。通过提高VLA策略的运行保障能力，能够显著提升系统在复杂环境中的适应性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Benchmarks expose vision-language-action (VLA) policies to few canonical instructions, while exhaustive deployment testing is impossible. We introduce Object-Grounded Attention Monitoring (OGAM), connecting systematic testing to runtime assurance: testing reveals attention divergence between successful and failed executions, and OGAM uses this signal to stop failures beyond the finite suite. We generate scene-grounded instructions through pairwise combinations of action templates and objects, and separately test meaning-preserving paraphrases. All 87 out-of-benchmark cases reveal problematic behavior across OpenVLA, OpenVLA-OFT, UniVLA, and $π_{0.5}$: none completes any of the 24 feasible instructions, while infeasible or hazardous requests also trigger behavior substitution. At each action query, we project gradient-weighted visual attention through object masks and group it by instruction role for comparison across tasks and policies. Dynamic time warping aligns this course with a successful reference despite speed differences; conformal calibration on successful episodes sets the early-stopping threshold for sustained deviations, with a nominal false-stop target of $α=0.05$. Across four policies, OGAM stops 87-100% of failed episodes at median times of 5-12s within a 20s budget, with observed false-stop rates of 3-5%, without failure-labeled training. Finite testing thus identifies attention patterns that support online intervention before failure fully unfolds.