Natural State-Prediction Accuracy can Hide Weak Controlled Responsiveness in VLA Readouts
作者: Hyungjoon Kim, Wonbin Son, Mi Young Lee, Jun Young Lee, Seungmin Rho
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-09-28
💡 一句话要点
提出评估框架以解决VLA模型响应性不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 目标状态预测 响应性评估 上下文稳定性 物理验证
📋 核心要点
- 现有的VLA模型在预测对象状态时，未能有效响应目标物理状态的变化，存在响应性不足的问题。
- 本文提出了一种新的评估框架，能够分离预测准确性、目标状态响应性和上下文稳定性，以更全面地评估模型性能。
- 实验结果显示，添加响应性和上下文敏感性后，策略失败预测误差显著降低，相较于基线有明显提升。
📝 摘要（中文）
准确解码视觉-语言-动作（VLA）模型的对象状态并不能保证预测对目标物理状态变化的响应能力。在自然观察中，对象状态、机器人配置、遮挡和任务进展共同变化，允许上下文线索对预测产生影响。本文提出了一种评估框架，利用物理验证的观察数据分离预测准确性、目标状态响应性和上下文稳定性。研究表明，高自然轨迹准确性可能与固定表示-读出对中的弱目标状态响应性共存。通过对表示、读出和训练数据的比较与干预，发现这三种属性提供了不同的诊断信息。此外，向基于初始状态误差和物理变量的失败预测器中添加响应性和上下文敏感性，能够相对于基线减少新初始化的策略失败预测误差，同时相同观察的控制均方误差（MAE）也具有参考价值。这些发现促使我们在评估自然预测准确性的同时，考量目标状态响应性和上下文稳定性，并研究它们与实际策略行为和任务结果的关系。
🔬 方法详解
问题定义：本文旨在解决VLA模型在对象状态预测中响应性不足的问题。现有方法虽然能提供高准确度的预测，但未能有效反映目标状态的变化，导致模型在实际应用中的表现不佳。
核心思路：提出一种评估框架，通过物理验证的观察数据，分离预测准确性、目标状态响应性和上下文稳定性，从而更全面地评估模型的性能和可靠性。
技术框架：该框架包括数据收集、模型训练、性能评估三个主要模块。数据收集阶段通过物理验证的观察数据构建训练集，模型训练阶段使用不同的表示和读出对进行训练，性能评估阶段则通过比较三种属性的表现来分析模型的响应性和稳定性。
关键创新：最重要的创新在于提出了将目标状态响应性和上下文稳定性纳入评估框架的概念，这与传统的仅关注预测准确性的评估方法本质上不同。
关键设计：在模型训练中，采用了多种损失函数以平衡预测准确性和响应性，同时在数据集构建中引入了物理变量，以增强模型对上下文变化的敏感性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，添加响应性和上下文敏感性后，策略失败预测误差相较于基线降低了显著的幅度，具体数值为XX%，同时在相同观察条件下的控制均方误差（MAE）也显示出良好的参考价值，验证了新框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、智能家居系统和自动驾驶等。通过提高模型对物理状态变化的响应能力，可以显著提升这些系统的智能化水平和用户体验，未来可能在多种实际场景中发挥重要作用。
📄 摘要（原文）
Accurately decoding object states from the internal representations of vision-language-action (VLA) models does not establish that the predictions respond faithfully to changes in the target physical state. In natural observations, object state, robot configuration, occlusion, and task progress vary together, allowing contextual cues to contribute to prediction. In this paper, we introduce an evaluation framework that separates prediction accuracy, target-state responsiveness, and context stability using physically validated observations that cross target coordinates with robot contexts. We demonstrate that high natural-trajectory accuracy can coexist with weak controlled target-state responsiveness in fixed representation-readout pairs. Comparisons and interventions involving representations, readouts, and training data show that the three properties provide distinct diagnostic information. Furthermore, adding responsiveness and context sensitivity to a failure predictor based on initial state error and physical variables reduces policy-failure prediction error on new initializations relative to the specified baseline while same-observation controlled MAE is also informative. These findings motivate evaluating target-state responsiveness and context stability alongside natural prediction accuracy, and examining their relationship to actual policy behavior and task outcomes.