Auditing Semantic and Relational Reliability in Open-Vocabulary Human-Object Interaction Evaluation
作者: S M Asif Hossain, Ruksat Khan Shayoni, Md Kishor Morol
分类: cs.CV
发布日期: 2026-10-19
备注: Under review at WACV 2027
💡 一句话要点
提出诊断协议以解决开放词汇人机交互评估中的语义和关系可靠性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 开放词汇 人机交互 评估方法 语义理解 关系可靠性 诊断协议 HICO-DET 系统比较
📋 核心要点
- 现有的开放词汇人机交互评估方法在处理同义改写和角色颠倒时存在显著不足，导致评估结果的不可靠性。
- 本文提出了一种新的诊断协议，通过五个不同的视角对预测进行评分，从而更全面地评估交互的语义和关系可靠性。
- 在HICO-DET数据集上进行的实验显示，语义得分在1.6到20.3 mAP之间波动，且不同系统在不同评估下表现不一，揭示了评估方法的多样性。
📝 摘要（中文）
开放词汇人机交互检测器以自由文本描述交互，这为评估带来了挑战。现有的类别评分会拒绝有效的同义改写，而语义相似性评分则可能奖励错误的动作命名或角色颠倒的预测。本文提出了一种诊断协议，通过五个视角对每个预测进行评分，包括官方类别评估、身份控制、词汇归一化、分级语义信用和严格命题等价。通过比较这些视角，能够分离匹配引擎的影响与语义信用的影响。该协议结合了保持或破坏意义的控制变换与自然预测的盲审，得出了一致性检查，连接平均信用、无效接受和变换计数。应用于HICO-DET上的六个系统，结果表明不同视角对系统的评估存在分歧。
🔬 方法详解
问题定义：本文旨在解决开放词汇人机交互评估中存在的语义和关系可靠性问题。现有方法在处理同义改写和角色颠倒时，往往会导致评估结果的不准确和不一致。
核心思路：提出了一种诊断协议，通过五个视角对每个预测进行评分，以分离匹配引擎的影响和语义信用的影响，从而提高评估的可靠性和一致性。
技术框架：该协议包括五个主要模块：官方类别评估、身份控制、词汇归一化、分级语义信用和严格命题等价。每个模块从不同的角度对预测进行分析和评分。
关键创新：最重要的创新在于通过控制变换与盲审结合的方式，能够有效地评估和比较不同系统的预测结果，揭示其在语义理解上的差异。
关键设计：在设计中，采用了多种评分标准和一致性检查，确保了评估过程的全面性和准确性。具体的参数设置和损失函数设计尚未详细披露，需进一步研究。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GEN-VLKT在官方评估下表现最佳，而SL-HOI在SHOE评估中领先。不同评估视角下的语义得分提升幅度在1.6到20.3 mAP之间，AgentHOI在严格等价评估下的得分减少超过一半，揭示了评估方法的多样性和复杂性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、机器人交互和人机协作等场景。通过提高开放词汇人机交互的评估可靠性，可以促进相关技术的发展，提升人机交互的自然性和智能化水平，具有重要的实际价值和未来影响。
📄 摘要（原文）
Open-vocabulary human-object interaction detectors describe interactions in free text, and this creates a problem for evaluation. Category scoring rejects valid paraphrases, while semantic similarity scoring can reward predictions that name the wrong action or reverse the roles of the participants. We present a diagnostic protocol that holds every prediction fixed and scores it under five views, namely official category evaluation, an identity control, lexical normalization, graded semantic credit, and strict propositional equivalence. Comparing these views separates the effect of the matching engine from the effect of semantic credit. The protocol pairs controlled transformations that preserve or break meaning with a blinded audit of natural predictions, and we derive consistency checks that link mean credit, invalid acceptance, and transformation counts. Applied to six systems on HICO-DET, the views disagree on which system leads. GEN-VLKT leads under official evaluation, SL-HOI leads under SHOE, and GEN-VLKT leads again under strict equivalence. Semantic gains range from 1.6 to 20.3 mAP, and AgentHOI keeps less than half of its gain once equivalence is enforced. We recommend that semantic scores be reported together with relational validity and paired uncertainty, so that recovered credit is not read as better interaction understanding.