Assessing VLM-Driven Semantic-Affordance Inference for Non-Humanoid Robot Morphologies

📄 arXiv: 2604.19509v1 📥 PDF

作者: Jess Jones, Raul Santos-Rodriguez, Sabine Hauert

分类: cs.RO, cs.MA

发布日期: 2026-04-21

备注: AAMAS 2026 (main track), 9 pages, 4 figures

DOI: 10.65109/WTKR8312

💡 一句话要点

评估视觉语言模型驱动的非人形机器人语义可供性推理能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 视觉语言模型 可供性推理 非人形机器人 机器人形态 混合数据集

📋 核心要点

  1. 现有视觉语言模型在非人形机器人上的可供性推理能力不足，限制了其在多样化机器人应用中的部署。
  2. 论文提出一种混合数据集，结合真实机器人数据和VLM生成的合成数据，用于评估VLM在不同机器人形态和物体类别下的可供性推理性能。
  3. 实验表明，VLM对非人形机器人具有泛化能力，但存在保守预测倾向，尤其是在新工具使用和非常规操作中。

📝 摘要（中文）

视觉语言模型(VLM)在理解人与物体的交互方面表现出了卓越的能力，但它们在具有非人形形态的机器人系统中的应用在很大程度上仍未被探索。本文研究了VLM是否能有效地推断出与人类形态根本不同的机器人的可供性，从而解决了这些模型在各种机器人应用部署中的一个关键缺口。我们引入了一种新颖的混合数据集，该数据集将带注释的真实世界机器人可供性-物体关系与VLM生成的合成场景相结合，并对VLM在多个物体类别和机器人形态中的性能进行了实证分析，揭示了可供性推理能力的显著差异。我们的实验表明，虽然VLM对非人形机器人形式表现出有希望的泛化能力，但其在不同物体领域中的性能明显不一致。至关重要的是，我们发现所有形态和物体类别都存在一致的低假阳性率但高假阴性率的模式，表明VLM倾向于保守的可供性预测。我们的分析表明，这种模式对于新的工具使用场景和非常规的物体操作尤为明显，这表明VLM在机器人系统中的有效集成需要补充方法来减轻过度保守的行为，同时保持低假阳性率的固有安全优势。

🔬 方法详解

问题定义：论文旨在解决视觉语言模型（VLM）在非人形机器人上进行可供性推理的问题。现有VLM主要针对人与物体的交互进行训练，缺乏对不同形态机器人与物体交互的理解，导致在非人形机器人上的应用受限。痛点在于VLM无法准确判断非人形机器人是否能够执行特定操作，阻碍了其在复杂机器人任务中的应用。

核心思路：论文的核心思路是利用混合数据集来评估和提升VLM在非人形机器人上的可供性推理能力。通过结合真实世界的机器人数据和VLM生成的合成数据，弥补了现有数据集的不足，并为VLM提供了更丰富的训练和评估样本。这种方法旨在使VLM能够更好地理解不同机器人形态与物体之间的交互关系，从而提高其可供性推理的准确性。

技术框架：论文的技术框架主要包括以下几个部分：1) 构建混合数据集：收集真实世界的机器人可供性数据，并利用VLM生成合成场景数据。2) VLM可供性推理：使用VLM对混合数据集中的场景进行可供性推理，判断机器人是否能够执行特定操作。3) 性能评估：对VLM的推理结果进行评估，分析其在不同机器人形态和物体类别下的性能表现。4) 误差分析：深入分析VLM的推理误差，特别是假阳性和假阴性，找出导致误差的原因。

关键创新：论文的关键创新在于：1) 提出了一个用于评估VLM在非人形机器人上可供性推理能力的新型混合数据集。2) 揭示了VLM在非人形机器人上进行可供性推理时存在的保守预测倾向，即低假阳性率但高假阴性率。3) 分析了导致VLM保守预测的原因，并提出了可能的解决方案，例如结合互补方法来减轻过度保守的行为。

关键设计：论文的关键设计包括：1) 混合数据集的构建：真实数据和合成数据的比例，以及合成数据的生成方式。2) VLM的选择和配置：选择合适的VLM模型，并根据具体任务进行微调。3) 评估指标的选择：选择合适的评估指标来衡量VLM的可供性推理性能，例如准确率、召回率、F1值等。4) 误差分析方法：采用定性和定量相结合的方法，深入分析VLM的推理误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLM在非人形机器人上表现出泛化能力，但存在保守预测倾向，即低假阳性率和高假阴性率。例如，在工具使用场景中，VLM更容易漏判机器人可以执行的操作。该研究强调了在机器人系统中集成VLM时，需要采取措施来减轻过度保守的行为，同时保持安全优势。

🎯 应用场景

该研究成果可应用于各种机器人领域，例如工业自动化、家庭服务、医疗康复等。通过提高VLM在非人形机器人上的可供性推理能力，可以使机器人更智能、更自主地完成各种任务，从而提高生产效率和服务质量。未来，该研究还可以扩展到其他类型的机器人，例如软体机器人、水下机器人等。

📄 摘要（原文）

Vision-language models (VLMs) have demonstrated remarkable capabilities in understanding human-object interactions, but their application to robotic systems with non-humanoid morphologies remains largely unexplored. This work investigates whether VLMs can effectively infer affordances for robots with fundamentally different embodiments than humans, addressing a critical gap in the deployment of these models for diverse robotic applications. We introduce a novel hybrid dataset that combines annotated real-world robotic affordance-object relations with VLM-generated synthetic scenarios, and perform an empirical analysis of VLM performance across multiple object categories and robot morphologies, revealing significant variations in affordance inference capabilities. Our experiments demonstrate that while VLMs show promising generalisation to non-humanoid robot forms, their performance is notably inconsistent across different object domains. Critically, we identify a consistent pattern of low false positive rates but high false negative rates across all morphologies and object categories, indicating that VLMs tend toward conservative affordance predictions. Our analysis reveals that this pattern is particularly pronounced for novel tool use scenarios and unconventional object manipulations, suggesting that effective integration of VLMs in robotic systems requires complementary approaches to mitigate over-conservative behaviour while preserving the inherent safety benefits of low false positive rates.