VIVA+: Human-Centered Situational Decision-Making
作者: Zhe Hu, Yixiao Ren, Guanzhong Liu, Jing Li, Yu Yin
分类: cs.CL
发布日期: 2025-09-28
备注: EMNLP 2025 Findings
💡 一句话要点
VIVA+：面向以人为本场景的认知驱动多模态决策基准
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 人本环境 情境理解 决策基准 认知推理
📋 核心要点
- 现有方法难以评估MLLM在复杂人本环境下的细微推理和决策能力。
- VIVA+基准通过情境理解、行动理由和反思推理三个维度系统评估MLLM。
- 实验表明，针对性训练和多步推理策略能有效提升MLLM在VIVA+上的性能。
📝 摘要（中文）
多模态大型语言模型(MLLM)在复杂、以人为本的环境中展现出有意义操作的潜力。然而，评估它们在细微的、类人推理和决策方面的能力仍然具有挑战性。本文提出了VIVA+，一个认知驱动的基准，用于评估MLLM在以人为本情境中的推理和决策能力。VIVA+包含1317个真实世界情境，并配有6373个多项选择题，针对决策的三个核心能力：(1)基础情境理解，(2)上下文驱动的行动理由，以及(3)反思性推理。这些维度共同提供了一个系统框架，用于评估模型在社会上有意义的方式中感知、推理和行动的能力。我们在VIVA+上评估了最新的商业和开源模型，揭示了不同的性能模式并突出了重大挑战。我们进一步探索了有针对性的训练和多步推理策略，这些策略产生了持续的性能改进。最后，我们的深入分析突出了当前模型的局限性，并为推进MLLM在现实世界环境中实现更强大、上下文感知和社交适应性决策提供了可操作的见解。
🔬 方法详解
问题定义：论文旨在解决多模态大型语言模型（MLLM）在以人为本的复杂环境中进行类人推理和决策能力评估的问题。现有方法缺乏一个专门针对此类场景的认知驱动型基准，难以有效评估模型在情境理解、行动理由和反思推理等方面的能力。这阻碍了MLLM在现实世界中更可靠、更具社会适应性的应用。
核心思路：论文的核心思路是构建一个名为VIVA+的基准数据集，该数据集包含大量真实世界情境，并针对每个情境设计多项选择题，以评估MLLM在三个关键维度上的能力：情境理解、行动理由和反思推理。通过这种方式，VIVA+能够系统地评估模型在社会上有意义的方式中感知、推理和行动的能力。
技术框架：VIVA+基准的构建流程主要包括以下几个阶段：1) 收集真实世界情境数据；2) 针对每个情境设计多项选择题，问题围绕情境理解、行动理由和反思推理三个维度展开；3) 对数据集进行标注和验证，确保数据的质量和一致性；4) 使用VIVA+评估现有MLLM的性能，并分析模型的优势和不足。
关键创新：VIVA+的关键创新在于其认知驱动的设计理念和多维度的评估体系。与以往的基准相比，VIVA+更加关注模型在以人为本场景下的推理和决策能力，并从情境理解、行动理由和反思推理三个维度进行全面评估。这种多维度的评估体系能够更准确地反映模型在现实世界中的表现。
关键设计：VIVA+数据集包含1317个真实世界情境和6373个多项选择题。每个问题都设计为评估模型在情境理解、行动理由或反思推理方面的能力。论文还探索了有针对性的训练策略，例如使用VIVA+数据集对模型进行微调，以及多步推理策略，例如让模型逐步推理并给出答案。具体的参数设置和网络结构取决于所使用的MLLM。
🖼️ 关键图片
📊 实验亮点
在VIVA+基准上的实验结果表明，现有MLLM在以人为本的推理和决策方面仍存在显著差距。通过针对性训练和多步推理策略，模型的性能可以得到一致的提升。例如，经过VIVA+数据集微调的模型在情境理解、行动理由和反思推理等方面的准确率均有所提高。具体提升幅度未知，需要在论文中查找。
🎯 应用场景
VIVA+基准可用于评估和提升多模态大型语言模型在人机交互、智能助手、自动驾驶等领域的应用能力。通过VIVA+的评估，可以推动MLLM在理解人类意图、预测人类行为和做出合理决策方面取得进展，从而实现更自然、更可靠的人机协作。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) show promising results for embodied agents in operating meaningfully in complex, human-centered environments. Yet, evaluating their capacity for nuanced, human-like reasoning and decision-making remains challenging. In this work, we introduce VIVA+, a cognitively grounded benchmark for evaluating the reasoning and decision-making of MLLMs in human-centered situations. VIVA+ consists of 1,317 real-world situations paired with 6,373 multiple-choice questions, targeting three core abilities for decision-making: (1) Foundational Situation Comprehension, (2) Context-Driven Action Justification, and (3) Reflective Reasoning. Together, these dimensions provide a systematic framework for assessing a model's ability to perceive, reason, and act in socially meaningful ways. We evaluate the latest commercial and open-source models on VIVA+, where we reveal distinct performance patterns and highlight significant challenges. We further explore targeted training and multi-step reasoning strategies, which yield consistent performance improvements. Finally, our in-depth analysis highlights current model limitations and provides actionable insights for advancing MLLMs toward more robust, context-aware, and socially adept decision-making in real-world settings.