ORAV: Benchmarking Audio-Video Generation from Multimodal Contexts
作者: Jiacheng Hua, Xiaokun Feng, Jiaqi Hua, Chang Liu, Biao Wang, Miao Liu
分类: cs.CV
发布日期: 2026-09-28
备注: 25 pages, 10 figures, 13 tables
💡 一句话要点
提出ORAV基准以解决多模态音视频生成挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态生成 音视频生成 参考感知 组合控制 评估基准
📋 核心要点
- 现有方法在多模态音视频生成中面临组合控制和上下文理解的挑战，导致生成结果不一致。
- 本文提出ORAV Bench，包含多样化的任务实例和参考，旨在提高音视频生成的可控性和准确性。
- 实验结果显示，ORAV在与人类判断的一致性上达到了86.08%，并揭示了不同系统在参考组合上的独特优势。
📝 摘要（中文）
多模态音视频生成利用异构参考已成为一项新挑战，要求对生成过程进行组合控制并深入理解多模态上下文。本文介绍了ORAV Bench，包含380个任务实例，涉及2-10个参考、9种语义角色和30种角色组合。指令明确了参考之间的关系，媒体提供了需实现的身份、动态和音频特征。为评估这些开放式输出，我们开发了一种参考感知的成对协议，准备视觉和听觉证据，比较每个参考的预期贡献，并检查整体结果。经过验证，该方法在保留实例上与人类判断的有效一致性达86.08%。在5个前沿系统中，整体排名掩盖了参考组合之间的独特优势。一个反复出现的失败是生成了与请求结果相似但未能复现的源内容。ORAV因此为可控、组合和参考忠实的音视频生成进展提供了基准。
🔬 方法详解
问题定义：本论文旨在解决多模态音视频生成中的组合控制和上下文理解不足的问题。现有方法在生成过程中常常无法准确反映参考内容，导致输出结果的质量和一致性较低。
核心思路：论文提出了ORAV Bench，通过构建多样化的任务实例和明确的参考关系，增强生成模型对多模态上下文的理解和控制能力。这样设计的目的是为了提高生成结果的准确性和可控性。
技术框架：整体架构包括任务实例的构建、参考关系的定义、生成模型的训练和评估模块。任务实例提供了多种参考和语义角色，生成模型则基于这些信息进行音视频内容的生成。
关键创新：最重要的技术创新在于提出了参考感知的成对评估协议，该协议能够有效比较不同参考对生成结果的贡献，并在多个维度上进行质量诊断。与现有方法相比，ORAV Bench提供了更为系统化的评估机制。
关键设计：在模型训练中，采用了特定的损失函数来优化生成结果的质量，并设计了多层次的网络结构以增强对多模态信息的处理能力。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ORAV在保留实例上与人类判断的一致性达86.08%。在与5个前沿系统的比较中，ORAV揭示了不同参考组合的独特优势，展现了其在多模态生成任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等，能够为多模态内容生成提供更高的可控性和准确性。未来，ORAV Bench可能推动相关领域的技术进步，促进更自然的音视频交互体验。
📄 摘要（原文）
Audio-video generation using heterogeneous multimodal references has emerged as a new challenge, requiring both compositional control over generation and grounded understanding of multimodal context. In this paper, we introduce ORAV Bench for Omni Reference Audio-Video Generation, comprising 380 task instances with 2-10 references, 9 semantic roles, and 30 role compositions. Instructions specify the relationships among references; the media supply the identities, dynamics, and audio characteristics to be realized. To evaluate these open-ended outputs, we develop a reference-aware pairwise protocol that prepares visual and auditory evidence, compares the intended contribution of each reference, and checks the overall verdict in both presentation orders. On held-out instances, it achieves 86.08% effective agreement with human judgments. Across 5 frontier systems, overall rankings conceal distinct strengths across reference compositions. A recurring failure is to reproduce unintended source content in place of the requested result, despite closely resembling a reference. Reproducible pointwise diagnostics of quality, reference affinity, and speech reveal distinct dimensions of model behavior. ORAV thus offers a benchmark for tracking progress toward controllable, compositional, and reference-faithful audio-video generation.