Metamorphic Testing of Vision-Language Action-Enabled Robots

📄 arXiv: 2602.22579v1 📥 PDF

作者: Pablo Valle, Sergio Segura, Shaukat Ali, Aitor Arrieta

分类: cs.RO, cs.SE

发布日期: 2026-02-26

💡 一句话要点

提出基于变质测试的VLA机器人测试方法，解决测试预言机问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 变质测试 视觉-语言-动作模型 机器人测试 测试预言机问题 机器人自动化 故障检测

📋 核心要点

  1. VLA机器人测试面临测试预言机难题，传统方法依赖于复杂且不通用的指令特定预言机，或仅关注任务完成度，忽略执行质量。
  2. 论文提出基于变质测试(MT)的方法，通过定义变质关系来评估输入变化对机器人轨迹的影响，无需预先定义预言机。
  3. 实验表明，该方法能有效检测VLA机器人中的多种故障，且具有良好的通用性，适用于不同的VLA模型、机器人和任务。

📝 摘要（中文）

视觉-语言-动作(VLA)模型是多模态机器人任务控制器，它接收指令和视觉输入，生成一系列低级控制动作(或电机命令)，使机器人能够在物理环境中执行请求的任务。这些系统面临着来自多个角度的测试预言机问题。一方面，必须为每个指令提示定义一个测试预言机，这是一种复杂且不通用的方法。另一方面，当前最先进的预言机通常捕获世界的符号表示(例如，机器人和对象状态)，从而能够评估任务的正确性，但未能评估其他关键方面，例如VLA机器人执行任务的质量。在本文中，我们探讨了变质测试(MT)是否可以缓解这种情况下的测试预言机问题。为此，我们提出了两个变质关系模式和五个变质关系，以评估测试输入的更改是否会影响VLA机器人的原始轨迹。一项涉及五个VLA模型、两个模拟机器人和四个机器人任务的实证研究表明，MT可以通过自动检测各种类型的故障(包括但不限于未完成的任务)来有效缓解测试预言机问题。更重要的是，所提出的MR是通用的，使得所提出的方法可以应用于不同的VLA模型、机器人和任务，即使在没有测试预言机的情况下。

🔬 方法详解

问题定义：VLA（Vision-Language-Action）机器人测试中，测试预言机（Test Oracle）的构建是一个核心难题。传统的测试方法要么需要为每个指令prompt定义特定的预言机，成本高且难以泛化；要么仅关注任务是否完成，而忽略了任务执行的质量，例如轨迹是否平滑、效率是否高等方面。因此，如何设计一种通用的、能够评估VLA机器人任务执行质量的测试方法是本文要解决的问题。

核心思路：本文的核心思路是利用变质测试（Metamorphic Testing, MT）来缓解VLA机器人测试中的预言机问题。变质测试的核心思想是通过定义变质关系（Metamorphic Relations, MRs），即输入变化与预期输出变化之间的关系，来验证系统的正确性。如果系统违反了预定义的MRs，则表明系统存在缺陷。这种方法不需要预先知道正确的输出，而是通过检查输入和输出之间的关系来发现错误。

技术框架：该方法主要包含以下几个步骤：1) 定义变质关系模式：论文提出了两种变质关系模式，用于指导MRs的设计。2) 设计变质关系：基于变质关系模式，设计了五个具体的变质关系，这些关系描述了对VLA机器人输入进行特定修改后，预期机器人行为的变化。3) 执行测试：对VLA机器人进行测试，通过改变输入并观察输出，判断是否违反了预定义的变质关系。4) 故障检测：如果机器人行为违反了变质关系，则认为检测到了一个故障。

关键创新：该论文的关键创新在于将变质测试应用于VLA机器人测试领域，并提出了适用于该领域的变质关系模式和具体的变质关系。与传统的测试方法相比，该方法不需要预先定义预言机，而是通过检查输入和输出之间的关系来发现错误，从而降低了测试成本并提高了测试效率。此外，所提出的变质关系具有良好的通用性，可以应用于不同的VLA模型、机器人和任务。

关键设计：论文提出了两种变质关系模式：Input Perturbation 和 Goal Modification。基于这些模式，设计了五个变质关系，例如，改变目标物体的位置，预期机器人会调整其运动轨迹以到达新的目标位置；或者在场景中添加一个障碍物，预期机器人会避开障碍物。具体的参数设置和损失函数取决于所测试的VLA模型，本文主要关注变质关系的有效性，而非特定模型的性能优化。

📊 实验亮点

实验结果表明，所提出的变质测试方法能够有效检测VLA机器人中的多种故障，包括未完成任务、轨迹异常等。通过对五个VLA模型、两个模拟机器人和四个机器人任务的测试，验证了该方法的有效性和通用性。该方法能够自动检测出多种类型的故障，无需人工干预，显著降低了测试成本。

🎯 应用场景

该研究成果可应用于机器人自动化测试、VLA模型验证与调试等领域。通过自动化的变质测试，可以有效提高VLA机器人的可靠性和安全性，加速机器人技术的开发和部署，尤其是在智能制造、家庭服务等领域具有重要的应用价值和潜力。

📄 摘要（原文）

Vision-Language-Action (VLA) models are multimodal robotic task controllers that, given an instruction and visual inputs, produce a sequence of low-level control actions (or motor commands) enabling a robot to execute the requested task in the physical environment. These systems face the test oracle problem from multiple perspectives. On the one hand, a test oracle must be defined for each instruction prompt, which is a complex and non-generalizable approach. On the other hand, current state-of-the-art oracles typically capture symbolic representations of the world (e.g., robot and object states), enabling the correctness evaluation of a task, but fail to assess other critical aspects, such as the quality with which VLA-enabled robots perform a task. In this paper, we explore whether Metamorphic Testing (MT) can alleviate the test oracle problem in this context. To do so, we propose two metamorphic relation patterns and five metamorphic relations to assess whether changes to the test inputs impact the original trajectory of the VLA-enabled robots. An empirical study involving five VLA models, two simulated robots, and four robotic tasks shows that MT can effectively alleviate the test oracle problem by automatically detecting diverse types of failures, including, but not limited to, uncompleted tasks. More importantly, the proposed MRs are generalizable, making the proposed approach applicable across different VLA models, robots, and tasks, even in the absence of test oracles.