Benchmarking Multimodal Large Language Models for Zero-Shot Human-Object Interaction

📄 arXiv: 2610.18161v1 📥 PDF

作者: Oriol Rabasseda, Zenjie Li, Kamal Nasrollahi, Sergio Escalera

分类: cs.CV

发布日期: 2026-10-13

💡 一句话要点

提出多模态大语言模型以解决零-shot人机交互问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 人机交互 零-shot学习 物体检测 视觉提示策略 基准框架 交互理解

📋 核心要点

  1. 现有的HOI方法依赖于大量标注数据和固定的交互分类，限制了其在动态场景中的应用。
  2. 本文提出了一种结合外部物体检测器与零-shot多模态推理的管道，探索MLLMs在HOI中的应用。
  3. 在HICO和HICO-DET数据集上的实验结果显示，本文方法在零-shot性能上达到了最先进的水平，显著提升了识别准确性。

📝 摘要（中文）

多模态大语言模型（MLLMs）在多个领域展现出强大的零-shot推理能力，但其在人机交互（HOI）方面的潜力尚未被探索。与依赖大量标注数据和固定交互分类的传统HOI方法不同，MLLMs提供灵活的推理能力，适合动态的现实场景。本文首次系统性研究了MLLMs在HOI识别和检测中的应用，提出了一种结合外部物体检测器和零-shot多模态推理的管道。我们引入了一个基准框架，包含统一的零-shot提示策略分类和将token级别logits转化为交互评分的方法，支持与专门HOI模型的公平比较。通过在HICO、HICO-DET和V-COCO上的实验，我们实现了最先进的零-shot性能，HICO的mAP达到53.50，HICO-DET的mAP达到23.69。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在零-shot人机交互（HOI）中的应用问题。现有方法通常依赖于大量标注数据和固定的交互分类，限制了其在动态场景中的灵活性。

核心思路：我们提出了一种新颖的管道，结合外部物体检测器进行实体定位，并利用零-shot多模态推理理解交互。这种设计使得模型能够在没有大量标注数据的情况下，灵活地处理多种交互场景。

技术框架：整体架构包括两个主要模块：外部物体检测器用于定位场景中的实体，零-shot推理模块用于理解这些实体之间的交互。我们还构建了一个基准框架，包含统一的零-shot提示策略和交互评分方法。

关键创新：本文的主要创新在于提出了一个系统的基准框架，支持MLLMs在HOI中的零-shot评估，且引入了新的问题-答案注释格式，使标准HOI数据集适用于MLLMs。

关键设计：我们设计了两种视觉提示策略，即“对象作为上下文”和“黑色其他对象”，以引导MLLMs关注目标对象，同时保留场景上下文。实验中使用的损失函数和网络结构经过精心调整，以确保模型的最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在HICO数据集上达到了53.50的mAP，在HICO-DET上达到了23.69的mAP，均为当前最先进的零-shot性能。这表明我们的框架在HOI识别和检测任务中具有显著的优势。

🎯 应用场景

该研究的潜在应用领域包括智能监控、机器人交互和增强现实等场景，能够帮助系统更好地理解人类与物体之间的复杂交互。未来，该方法有望推动新模型和数据集的开发，促进开放世界交互理解的进步。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have demonstrated strong zero-shot reasoning across diverse domains, but their potential for Human-Object Interaction (HOI) remains unexplored. Unlike traditional HOI approaches that rely on extensive labeled datasets and fixed interaction taxonomies, MLLMs offer flexible reasoning, making them well-suited for dynamic, real-world scenarios. In this work, we present the first systematic study of MLLMs for HOI recognition and detection within a pipeline that combines an external object detector for entity localization with zero-shot multimodal reasoning for interaction understanding. We introduce a benchmark framework for principled zero-shot evaluation, consisting of (i) a unified taxonomy of zero-shot prompting strategies, and (ii) a methodology that transforms token-level logits into interaction scores, enabling fair comparison with specialized HOI models under standard metrics. To support prompt-based evaluation, we additionally construct new question-answer annotations for standard HOI datasets, transforming them into a format suitable for MLLMs. Building on this, we propose two visual prompting strategies, namely Objects as Context and Black Other Objects, that guide MLLMs to target objects while preserving scene context. Experiments on HICO, HICO-DET, and V-COCO demonstrate state-of-the-art zero-shot performance, achieving 53.50 mAP on HICO and 23.69 mAP on HICO-DET. Overall, our work provides a principled benchmarking framework for MLLMs in HOI, opening the door to new models and datasets and enabling flexible open-world interaction understanding.