Do VLAs Understand and Adapt to the Objects They Handle, or Simply Replay Learned Behaviors?

📄 arXiv: 2610.06078v1 📥 PDF

作者: Xinnuo Xu

分类: cs.RO, cs.AI

发布日期: 2026-10-05

备注: 8 pages

💡 一句话要点

探讨VLAs是否真正理解物体属性或仅仅重放学习行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 变换学习代理 物理属性理解 动作适应性 线性探测 表征相似性分析 机器人预训练 控制实验

📋 核心要点

  1. 核心问题：现有的VLA在处理物体时，是否真正理解物理属性，还是仅仅依赖于已学习的行为模式？
  2. 方法要点：通过线性探测和表征相似性分析，评估七个VLA对物理属性的意识，并进行控制实验验证其适应能力。
  3. 实验或效果：实验结果显示，大多数VLA未能根据物体质量的变化调整其动作，表明其对物理属性的理解不足。

📝 摘要（中文）

本文探讨了变换学习代理（VLA）是否具备对物体物理属性的全球理解，从而能够适应未见的环境，还是仅仅重放在新环境中成功的动作。研究发现，物理属性的可解码性普遍低于非物理属性，且机器人预训练削弱了语言流中物理属性的线性编码。通过控制实验，发现大多数VLA在面对质量变化时未能有效调整其动作，表明它们对物理属性的编码较弱，且不可靠地用于动作适应。

🔬 方法详解

问题定义：本文旨在解决VLA在处理物体时是否具备对物理属性的真正理解这一问题。现有方法未能有效验证VLA在新环境中的适应能力，导致对物理属性的理解可能仅限于表面现象。

核心思路：论文通过线性探测和表征相似性分析，系统评估VLA对物理属性的意识，并通过控制实验观察其在面对物体质量变化时的行为反应。

技术框架：研究分为两个主要部分：首先是对七个VLA的激活进行分析，以评估其对物理属性的编码能力；其次是通过LIBERO案例研究，测试VLA在物体质量变化时的动作适应性。

关键创新：最重要的创新在于通过结合线性探测和表征相似性分析，揭示了VLA对物理属性的编码能力较弱，并且未能有效利用这些信息来调整其动作。

关键设计：在实验中，采用了特定的参数设置和损失函数，以确保对物理属性的分析准确性。同时，设计了控制实验以验证VLA在面对不同质量物体时的行为变化。通过语言和视觉信号的引导，观察VLA的反应。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，大多数VLA在面对质量变化时未能有效调整其动作，导致任务成功率下降。仅有少数VLA在语言或视觉提示下改变行为，而非根据物体质量本身。这表明VLA对物理属性的编码能力较弱，且未能可靠地利用这些信息进行动作适应。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等。通过深入理解VLA对物理属性的处理能力，可以为未来的智能系统设计提供理论基础，提升其在复杂环境中的适应能力和灵活性。

📄 摘要（原文）

This paper asks whether VLA generalization is grounded in a global understanding of objects' physical properties that enables policies to adapt their motion to unseen setups, or if policies simply replay the motions they've learnt that happen to succeed in new setups. The former reflects genuine generalization; the latter reflects incidental robustness. We first examine awareness of physical properties in seven VLAs by applying linear probing and representational similarity analysis (RSA) to their activations. We find that physical properties, including mass, fragility, deformability, friction and size are less decodable than non-physical properties such as semantic category, material, sound and price in nearly every modality stream. Compared with their base VLMs, robot pre-training weakens the linear encoding of physical properties in the language stream. Neither pre-training nor downstream fine-tuning strengthens the alignment between physical-property differences and activation distances. We then ask whether the weak physical information present in these activations shapes the actions a VLA generates. In a controlled LIBERO case study, we increase the mass of an in-domain object and signal the change through language or vision. Most VLAs use similar lifting behaviour for the heavier and original-mass objects, leading to task success declines. The few exceptions change their behaviour in response to lexical or visual cues rather than to mass itself. These results suggest that VLAs encode physical properties weakly and do not reliably use them to adapt their motion.