InterView-C: A Synchronized Multimodal Corpus of VR Avatar-Mediated Survey Interviews

📄 arXiv: 2610.10145v1 📥 PDF

作者: Patrick Schrottenbacher, Leon Hammerla, Lydia Kleine, Doris Stingl, Alexander Mehler

分类: cs.CL

发布日期: 2026-10-07

💡 一句话要点

提出InterView-C以解决虚拟现实中多模态访谈数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态语料库 虚拟现实 口语互动 自然语言处理 自动语音识别 人机交互 社交机器人

📋 核心要点

  1. 现有方法在自动转录口语时可能扭曲语言相关信息，导致下游模型在处理转录数据时面临转移挑战。
  2. InterView-C通过提供逐字转录和丰富的多模态行为数据，解决了口语互动与文本处理之间的对齐问题。
  3. 实验表明，现有的ASR系统在短闭合回答和数字词的识别上存在偏差，而基于InterView-C注释训练的模型表现更佳。

📝 摘要（中文）

我们提出了InterView-C，这是一个德语多模态语料库，包含27个完全在虚拟现实中进行的调查访谈，双方均由虚拟形象（avatar）代表。该语料库将口语互动与同步的行为数据（如视线、头部和身体运动、面部行为、手指追踪）对齐。其参考转录和语言注释为多模态口语互动与主要基于文本的自然语言处理方法提供了可靠的接口。InterView-C提供了54个录音的逐字转录、访谈项目时间、问卷响应及1422个句子的否定线索和范围注释，具有较高的双重注释一致性（α=0.87和α=0.81）。

🔬 方法详解

问题定义：本论文旨在解决虚拟现实环境中多模态访谈数据的不足，现有的自动语音识别（ASR）系统在处理口语时存在信息扭曲和转移挑战。

核心思路：通过构建InterView-C语料库，提供逐字转录和同步的行为数据，以增强口语互动与文本处理之间的对齐，确保语言分析的准确性。

技术框架：该语料库包含54个录音的逐字转录、访谈项目时间、问卷响应及1422个句子的否定线索和范围注释，所有数据均经过手动后期编辑。

关键创新：InterView-C的最大创新在于其提供的逐字转录与丰富的多模态行为数据的结合，显著提高了对口语互动的语言分析能力。

关键设计：语料库中的注释具有较高的一致性，否定线索的α值为0.87，范围的α值为0.81，确保了数据的可靠性和有效性。实验中，基于InterView-C训练的模型在处理转录访谈时表现优于传统模型。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，九个开放权重的ASR系统在短闭合回答和数字词的识别上表现不佳，而基于InterView-C注释训练的模型在转录访谈中的表现显著提升，展示了更高的准确性和一致性。

🎯 应用场景

InterView-C的研究成果可广泛应用于虚拟现实中的人机交互、社交机器人、教育培训等领域，提升多模态交互系统的理解与响应能力。未来，该语料库还可为自然语言处理和计算机视觉的交叉研究提供重要数据支持，推动相关技术的发展与应用。

📄 摘要（原文）

We present InterView-C, a German multimodal corpus of 27 survey interviews conducted entirely in virtual reality, with both interlocutors represented by avatars. The corpus aligns spoken interaction with synchronized behavioral data, including gaze, head and body movement, facial behavior, hand and finger tracking. Its reference transcripts and linguistic annotations provide a reliable interface between this multimodal spoken interaction and predominantly text-based NLP methods. This interface is important because automatically transcribing speech can distort linguistically relevant information, while downstream models trained on existing resources may additionally face transfer challenges when applied to transcribed spoken data. InterView-C therefore provides word-timed and manually post-edited verbatim transcripts for all 54 recordings, interview-item timings, questionnaire responses and negation cue and scope annotations for 1,422 sentences, 1,398 of them doubly annotated (α=0.87 for cues; α=0.81 for scopes). We demonstrate both challenges empirically: nine open-weight ASR systems disproportionately misrecognize short closed answers and number words, while negation models trained on existing corpora show lower and highly variable performance on our transcribed interviews than a model trained on the InterView-C annotations. InterView-C thus enables linguistic analyses of spoken interaction while retaining their alignment with rich multimodal behavior.