TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models
作者: Zhaolu Kang, Yidi Wang, Yile Li, Siqi Zeng, Yingjie He, Richeng Xuan, Zhichao hu
分类: cs.CL
发布日期: 2026-10-22
备注: NeurIPS 2026 Evaluations and Datasets Track
💡 一句话要点
提出TRIAD基准以解决多模态大语言模型中的模糊性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 模糊性解决 大语言模型 基准测试 自然语言处理 音频线索 图像理解 智能助手
📋 核心要点
- 现有多模态基准主要集中在对已确定输入的感知和识别，未能有效测试模型在模糊性解决上的能力。
- TRIAD基准通过构建文本-图像-音频三元组，设计出能够唯一确定答案的任务，从而评估模型的模糊性解决能力。
- 实验结果表明，尽管模型在项目级表现良好，但在场景级消歧上仍显著落后于人类，尤其在去除答案选项后差距更大。
📝 摘要（中文）
模糊性是自然交流的核心特征：句子、图像或声音在考虑其他通道的证据之前可能仍然不明确。然而，现有的多模态基准主要测试对已确定输入的感知、识别或推理，尚不清楚全模态大语言模型是否能解决分布在文本、视觉和音频中的模糊性。我们提出了TRIAD，一个用于全模态模糊性解决的基准。每个项目是一个文本-图像-音频三元组，配有一个问题和一组答案选项，构建方式是完整的三元组决定唯一答案，而去掉任何一个模态则使一致选项集变得不唯一。TRIAD包含327个手工编写的查询，覆盖86个场景组和18个模糊性类别。对14个全模态系统的评估显示，强大的项目级表现并未转化为稳健的场景级消歧：最佳模型在组准确率上仍落后于人类20多个百分点。
🔬 方法详解
问题定义：论文要解决的具体问题是如何评估多模态大语言模型在处理模糊性时的能力。现有方法主要测试模型对已确定输入的识别，未能有效评估其在模糊性分布上的表现。
核心思路：论文的核心解决思路是构建TRIAD基准，通过设计文本、图像和音频的三元组，使得完整的三元组能够唯一确定答案，而去掉任一模态则导致答案不唯一，从而测试模型的模糊性解决能力。
技术框架：整体架构包括数据集构建、模型评估和结果分析三个主要模块。数据集包含327个查询，覆盖86个场景组和18个模糊性类别，模型评估则通过对比14个全模态系统的表现来进行。
关键创新：最重要的技术创新点在于将多模态评估从识别转向消歧，提供了一种新的评估框架和诊断协议，能够更好地测量模型在模糊性解决上的能力。
关键设计：在设计中，使用了手工编写的查询，确保了数据集的多样性和复杂性。同时，模型评估中采用了留一法和反事实分析，揭示了当前系统在音频线索利用上的不足。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管模型在项目级表现良好，但在场景级消歧上仍落后于人类20多个百分点。去除答案选项后，模型的组准确率降至个位数，而人类的表现依然稳健，显示出当前系统在音频线索利用上的不足。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动翻译和多模态内容生成等。通过提升模型在模糊性处理上的能力，可以显著改善人机交互的自然性和准确性，推动相关技术的实际应用和发展。
📄 摘要（原文）
Ambiguity is a central feature of natural communication: a sentence, image, or sound may remain underspecified until evidence from the other channels is considered. Yet current multimodal benchmarks mostly test perception, recognition, or reasoning over already determinate inputs, leaving unclear whether omni-modal large language models can resolve ambiguity distributed across text, vision, and audio. We introduce TRIAD, a benchmark for omni-modal ambiguity resolution. Each item is a text--image--audio triplet paired with a question and a set of answer options, and is constructed so that the full triplet determines a unique answer while removing any one modality makes the set of consistent options non-unique. TRIAD contains $327$ hand-written queries in $86$ scene groups and covers $18$ ambiguity categories across the three modalities. Evaluating $14$ omni-modal systems reveals that strong item-level performance does not translate into robust scene-level disambiguation: the best model still trails humans by over $20$ points in group accuracy. Removing answer options widens the gap further, driving model group accuracy to the single digits while humans remain robust. Leave-one-out and transcript/description counterfactuals further show that current systems often underuse audio cues when text and image are present. TRIAD reframes omni-modal evaluation around disambiguation rather than recognition, and provides a taxonomy, benchmark, and diagnostic protocol for measuring this capability.