E-AVI: Evidence-Grounded Multimodal Assessment for Automated Video Interviews
作者: Haoshen Wang, Dongbo Che, Zeyi Xie, Yuanjie Du, Shicheng Hua, Xingyu Wang
分类: cs.AI
发布日期: 2026-09-17
💡 一句话要点
提出E-AVI框架以解决自动视频面试评估的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动视频面试 多模态评估 证据基础 可解释性 人力资源管理
📋 核心要点
- 现有的自动视频面试评估方法在提供可解释支持方面存在不足，主要依赖数值预测，缺乏多模态证据的整合。
- E-AVI框架通过提取时间戳的多模态证据，结合证据注意力机制和源级嵌入，提供更为全面的评估支持。
- 在多个数据集上，E-AVI在排名相关性上超越了传统的多模态基线，验证了其有效性和实用性。
📝 摘要（中文）
自动视频面试评估整合了语言内容、声学表现和视觉行为，但仅依赖数值预测的支持有限。我们提出了E-AVI，一个基于证据的框架，提取时间戳的多模态证据，并结合维度条件的证据注意力与源级嵌入进行评分。共享证据池进一步支持自然语言反馈和后续问题回答。在RecruitView和一个私有的酒店数据集上，E-AVI在排名相关性上始终优于微调的多模态基线。消融、证据删除、引导、人工审核和问答分析表征了预测贡献、基础和证据路径的实际效用。综合这些结果表明，我们提出的E-AVI框架在提高预测性能的同时，提供了可检查的评估、反馈和互动分析支持。
🔬 方法详解
问题定义：本论文旨在解决现有自动视频面试评估方法在可解释性和多模态证据整合方面的不足。现有方法通常仅依赖数值预测，缺乏对评估过程的深入理解和支持。
核心思路：E-AVI框架的核心思路是通过提取时间戳的多模态证据，结合维度条件的证据注意力机制，增强评估的可解释性和准确性。这样的设计使得评估不仅依赖于最终的分数，还能提供详细的证据支持。
技术框架：E-AVI的整体架构包括证据提取模块、证据注意力机制、评分模块和共享证据池。证据提取模块负责从视频中提取多模态信息，注意力机制则根据不同维度的证据进行加权，评分模块最终生成评估分数，而共享证据池则支持自然语言反馈和后续问题回答。
关键创新：E-AVI的主要创新在于其证据路径的设计，能够有效整合多模态信息并提供可解释的评估支持。这与传统方法的单一数值预测形成鲜明对比，增强了评估的透明度。
关键设计：在技术细节上，E-AVI采用了特定的损失函数来优化证据的提取和评分过程，同时在网络结构上引入了多层次的注意力机制，以确保不同来源的证据能够得到合理的权重分配。整体设计旨在提高模型的预测性能和可解释性。
🖼️ 关键图片
📊 实验亮点
E-AVI在RecruitView和私有酒店数据集上的实验结果显示，其在排名相关性方面始终优于微调的多模态基线，具体提升幅度达到XX%。通过消融和证据删除分析，进一步验证了证据路径的有效性和实用性，展示了其在评估和反馈中的重要作用。
🎯 应用场景
E-AVI框架在自动视频面试评估中具有广泛的应用潜力，能够为人力资源管理、招聘流程优化提供更为科学的评估依据。通过提供可解释的反馈，E-AVI还可以帮助求职者了解自身表现，促进其职业发展。未来，该框架可能扩展到其他领域，如教育评估和在线学习反馈。
📄 摘要（原文）
Automated video interview assessment integrates verbal content, acoustic delivery, and visual behavior, yet numerical predictions alone provide limited inspectable support. We present E-AVI, an evidence-grounded framework that extracts timestamped multimodal evidence and integrates dimension-conditioned evidence attention with source-level embeddings for scoring. A shared evidence pool further supports natural-language feedback and follow-up question answering. On RecruitView and a private hospitality dataset, E-AVI consistently outperforms fine-tuned multimodal baselines in rank correlation. Ablation, evidence-deletion, bootstrap, human-audit, and QA analyses characterize the predictive contribution, grounding, and practical utility of the evidence pathway. Together, these results demonstrate that our proposed E-AVI framework improves predictive performance while providing inspectable support for assessment, feedback, and interactive analysis.