Harnessing Multimodal Large Language Models for Training-Free Human-Object Interaction Detection
作者: Zhaolin Cai, Huiyu Duan, Liu Yang, Yanjun Qin, Bo Ai, Wei Chen, Xiongkuo Min, Guangtao Zhai
分类: cs.CV
发布日期: 2026-10-05
💡 一句话要点
提出HarnessHOI以解决训练无关的人-物交互检测问题
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人-物交互检测 多模态大语言模型 训练无关 视觉推理 交互引导机制 几何裁决 深度学习 计算机视觉
📋 核心要点
- 现有方法在处理人-物交互检测时，存在依赖特定训练和推理阶段碎片化的问题，导致关键参与者被忽视。
- 本文提出HarnessHOI框架，通过交互引导的感知机制和几何裁决模块，解决了无训练的HOI检测中的关键挑战。
- 实验结果表明，HarnessHOI在HICO-DET和V-COCO数据集上达到了最先进的性能，验证了其有效性和实用性。
📝 摘要（中文）
人-物交互（HOI）检测旨在定位人-物对并识别其交互。传统的监督方法表现强劲，但依赖于特定任务的训练。近期的多模态大语言模型（MLLMs）通过其广泛的视觉-语义知识和多样的感知与推理能力，为无训练的HOI检测提供了有希望的途径。然而，现有方法主要通过松散协调的推理阶段来调用这些能力，这种碎片化的执行限制了交互假设在引导视觉探索中的作用，导致关键参与者被忽视和局部模糊未解决。为了解决这些挑战，本文提出了HarnessHOI，一个将被动的MLLM推理转变为主动的交互中心框架。我们引入了一种交互引导的感知机制，将新兴的交互假设投射回视觉空间，以发现缺失的参与者并通过有针对性的观察来细化模糊证据。大量实验表明，HarnessHOI在HICO-DET和V-COCO数据集上实现了无训练方法中的最先进性能，验证了该框架在复杂交互理解中的有效性。
🔬 方法详解
问题定义：本文旨在解决人-物交互检测中的训练依赖性和推理阶段碎片化的问题。现有方法在引导视觉探索时，交互假设的作用未能得到充分利用，导致重要信息的遗漏和模糊性。
核心思路：HarnessHOI框架通过将被动的MLLM推理转变为主动的交互中心机制，利用交互引导的感知来发现缺失的参与者，并通过几何裁决模块整合多源证据，提升交互理解的准确性。
技术框架：该框架主要包括两个模块：交互引导的感知机制和关系无关的几何裁决模块。前者负责将交互假设投射回视觉空间，后者则整合来自不同源的证据以建立统一的空间基础。
关键创新：最重要的创新在于交互引导的感知机制，它通过主动探索和细化模糊证据，显著提升了对复杂交互的理解能力。这一方法与现有的松散推理阶段形成鲜明对比。
关键设计：在设计中，采用了针对性的观察策略以优化信息获取，损失函数则结合了多源证据的整合，确保了模型在不同交互和语义角色下的鲁棒性。整体网络结构经过精心设计，以支持高效的推理和学习。
🖼️ 关键图片
📊 实验亮点
在HICO-DET和V-COCO数据集上的实验结果显示，HarnessHOI在无训练方法中达到了最先进的性能，具体提升幅度超过了现有基线，验证了其在复杂交互理解中的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、机器人交互、虚拟现实等场景，能够提升人机交互的智能化水平。通过无训练的HOI检测，系统可以在缺乏标注数据的情况下，依然实现高效的交互理解，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Human-object interaction (HOI) detection aims to localize human-object pairs and recognize their interactions. Traditional supervised methods perform strongly but rely on task-specific training. Recent multimodal large language models (MLLMs) offer a promising route to training-free HOI detection through their broad visual-semantic knowledge and versatile perceptual and reasoning capabilities. However, existing approaches largely invoke these capabilities through loosely coordinated inference stages. This fragmented execution restricts the role of interaction hypotheses in guiding visual exploration, leaving key participants overlooked and local ambiguities unresolved. Furthermore, propagating early semantic assumptions through subsequent visual grounding and relation prediction induces self-reinforcing semantic circularity. To resolve these challenges, we propose HarnessHOI, a training-free framework that transforms passive MLLM inference into an active interaction-centric harness. Specifically, we introduce an interaction-guided perception mechanism that projects emerging interaction hypotheses back into the visual space to discover missing participants and refine ambiguous evidence through targeted observation. Furthermore, a relation-agnostic geometric adjudication module reconciles multi-source evidence to establish a unified spatial basis for grounded interaction reasoning across multiple actions and semantic roles. Extensive experiments on HICO-DET and V-COCO demonstrate that HarnessHOI achieves state-of-the-art performance among training-free methods, confirming the effectiveness of the proposed harness for complex interaction understanding. Code will be released upon publication.