MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records
作者: Seohyun Lee, Jongha Kim, Dohwan Ko, Ji Soo Lee, Seoung Choi, Jayun Ku, Hyunwoo J. Kim
分类: cs.AI
发布日期: 2026-10-20
备注: 35 pages, 16 figures, including appendices. Under review
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出MMEnterprise-Bench以评估企业智能体在多模态记录中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态记录 企业智能体 证据推理 冲突解决 问答系统 基准测试 团队协作
📋 核心要点
- 现有方法在处理跨源和时间冲突的证据时表现不佳，导致智能体的问答能力受限。
- 论文提出MMEnterprise-Bench基准，通过模拟协作项目中的多模态记录评估智能体的推理和冲突解决能力。
- 实验结果显示，尽管提高检索预算可以改善证据召回，但并未显著提升答案的准确性，反映出当前模型的局限性。
📝 摘要（中文）
企业智能体在工作场所记录中回答问题，这些记录随着团队协作而不断演变。信息在文档、聊天和图表中共享、修正和修订，导致同一信息的多个版本在工作空间中积累。因此，可靠的问答需要智能体能够推理足够的证据，解决跨源和时间冲突，并识别何时可用证据不足以建立答案。为系统性评估这些能力，本文提出了MMEnterprise-Bench，一个包含1,613个问题的基准，基于模拟协作项目中的多模态记录，涵盖证据推理、冲突解决和不可回答性三个类别。我们评估了10个专有和开源的多模态大型语言模型，发现即使是最强的模型在处理跨源或时间冲突的证据时也面临困难。此外，增加检索预算或使用更大的检索器可以提高证据召回率，但并不总是能转化为更高的答案准确性。这些发现突显了在不断演变的工作场所记录上推理的持续挑战，并确立了MMEnterprise-Bench作为开发更可靠企业智能体的测试平台。
🔬 方法详解
问题定义：本文旨在解决企业智能体在处理不断演变的多模态记录时的问答能力不足，尤其是在面对跨源和时间冲突时的推理挑战。现有方法在这些方面表现不佳，导致智能体无法提供可靠的答案。
核心思路：论文的核心思路是构建MMEnterprise-Bench基准，通过系统性的问题设计评估智能体在证据推理、冲突解决和不可回答性方面的能力。这种设计旨在模拟真实的工作场景，提供多样化的挑战。
技术框架：整体架构包括三个主要模块：问题生成模块、智能体评估模块和结果分析模块。问题生成模块负责从多模态记录中提取和构建问题，智能体评估模块则对不同模型进行测试，最后结果分析模块用于评估模型的表现和识别潜在的改进方向。
关键创新：最重要的技术创新点在于提出了一个系统化的基准测试框架，专注于企业环境中的多模态记录处理。这与现有方法的主要区别在于其综合考虑了证据的多样性和复杂性。
关键设计：在设计中，论文采用了多种问题类型和复杂度，设置了不同的检索预算，并对模型的评估标准进行了细致的定义，以确保测试的全面性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管对10个多模态大型语言模型的评估揭示了其在处理复杂证据时的局限性，但通过增加检索预算，证据召回率有所提升。然而，答案的准确性并未显著提高，表明当前模型在实际应用中的挑战。
🎯 应用场景
该研究的潜在应用领域包括企业智能体的开发、知识管理系统的优化以及团队协作工具的智能化。通过提升智能体在复杂工作环境中的问答能力，可以显著提高团队的工作效率和信息获取的准确性，未来可能在各类企业中得到广泛应用。
📄 摘要（原文）
Enterprise agents answer questions over workplace records that evolve through team collaboration. As information is shared, corrected, and revised across documents, chats, and figures, multiple versions of the same information accumulate in the workspace. Reliable question answering therefore requires agents to reason over sufficient evidence, resolve cross-source and temporal conflicts, and recognize when the available evidence is insufficient to establish an answer. To systematically evaluate these capabilities, we introduce MMEnterprise-Bench, a benchmark comprising 1,613 questions grounded in evolving multimodal records from simulated collaboration projects, covering three categories: Evidence Reasoning, Conflict Resolution, and Unanswerability. We evaluate 10 proprietary and open-source multimodal LLMs and find that even the strongest models struggle when evidence contains cross-source or temporal conflicts or spans multiple images. Moreover, increasing the retrieval budget or employing a larger retriever improves evidence recall but does not consistently translate into higher answer accuracy. These findings highlight the persistent challenges of reasoning over evolving workplace records and establish MMEnterprise-Bench as a testbed for developing more reliable enterprise agents. Code and data are available at https://mlvlab.github.io/MMEnterprise-Bench/.