DSV-Mem: Evaluating Multimodal Memory in Professional Workflows for MLLM Agents

📄 arXiv: 2610.08102v1 📥 PDF

作者: Jike Zhong, Ritwick Chaudhry, Xuanbai Chen, Tianchen Zhao, Linghan Xu, Yifan Xing, Nishant Sankaran

分类: cs.AI

发布日期: 2026-10-06

💡 一句话要点

提出DSV-Mem以解决专业工作流程中多模态记忆评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态记忆 专业工作流程 基准评估 状态演变 人工智能应用 复杂信息处理 对话系统

📋 核心要点

  1. 现有的基准测试主要关注非正式的日常互动，缺乏对专业工作流程中复杂信息的评估。
  2. 提出DSV-Mem基准，专注于密集状态视觉记忆的评估，涵盖多种专业场景和问题类型。
  3. 实验结果显示，现有模型在DSV-Mem上的表现不佳，且状态演变是影响模型性能的主要因素。

📝 摘要（中文）

对话式多模态大语言模型（MLLM）代理在专业工作流程中的应用日益受到关注，然而现有基准主要集中于非正式的日常互动，缺乏对复杂专业场景的评估。为此，本文提出了DSV-Mem基准，旨在评估密集状态视觉记忆。该基准包含专家审核的场景和1000个问题，涵盖当前状态、过去状态、派生状态、变更历史和冲突/拒绝等五个用户导向的类别。通过对27种配置的评估，发现现有模型在DSV-Mem上的得分普遍低于45%，并揭示了多模态性和信息密度对难度的影响。

🔬 方法详解

问题定义：本研究旨在解决现有基准在评估专业工作流程中多模态记忆能力不足的问题。现有方法主要集中于非正式场景，无法有效处理信息密集和频繁更新的专业环境。

核心思路：论文提出DSV-Mem基准，通过设计专家审核的场景和多样化的问题类型，来评估模型在复杂专业场景中的表现。该基准强调了状态演变和信息密度对模型性能的影响。

技术框架：DSV-Mem基准包括五个用户导向的类别，涵盖当前状态、过去状态、派生状态、变更历史和冲突/拒绝。评估过程中使用了Hartley启发式标准，优先考虑需要更广泛视觉证据检查的问题。

关键创新：DSV-Mem的最大创新在于其针对专业场景的设计，填补了现有基准在多模态记忆评估中的空白，特别是在处理复杂信息和状态更新方面。

关键设计：在实验中，模型的配置包括前沿和开放权重模型，以及不同的记忆管理方法。实验结果表明，状态感知设计比单纯增加推理努力和记忆管理方法更为有效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有模型在DSV-Mem基准上的得分普遍低于45%。分析表明，多模态性和信息密度对模型性能有显著影响，而状态演变，尤其是更新数量，是主要的影响因素。状态感知设计在提升模型性能方面表现优于其他方法。

🎯 应用场景

该研究的潜在应用领域包括人工智能研究、工程设计、产品管理和商业运营等专业工作流程。通过提供一个有效的评估基准，DSV-Mem能够帮助研究人员和开发者更好地理解和提升多模态大语言模型在复杂场景中的表现，推动相关技术的实际应用和发展。

📄 摘要（原文）

Conversational MLLM agents are increasingly expected to assist in professional workflows, from AI research and engineering design to product management and business operations. Yet this capability remains underexplored: existing benchmarks largely focus on informal, everyday interactions and personal-life scenarios featuring photographic natural images, isolated static artifacts, and recall-oriented questions. In contrast, professional scenarios often involve structured, information-heavy artifacts that undergo frequent revisions and authority updates, and compositional queries requiring reconciliation of many artifact versions while tracking state precisely. To address these challenges, we introduce DSV-Mem, a benchmark for evaluating Dense Stateful Visual Memory. DSV-Mem comprises expert-reviewed scenarios and 1,000 questions across five user-oriented categories (Current State, Past State, Derived State, Change History, and Conflict/Refusal). A Hartley-inspired criterion favors questions with broader visual-evidence inspection demands. We also introduce a generation harness that produces evaluation suites by decoupling state-transition synthesis from conversation filling. Evaluation over 27 configurations spanning frontier and open-weight models and memory management methods reveals that the strongest baseline scores below 45% on DSV-Mem. Analysis surfaces findings: 1) multimodality and information density both contribute to difficulty, but state evolution, particularly the number of governing updates, is the dominant tested factor. Raw conversation/haystack length, OCR, and arithmetic are not the primary bottlenecks; 2) models often fail to verify user premises against prior state updates before answering; 3) increased reasoning effort and memory management methods yield limited gains, whereas state-aware designs prove more effective. The benchmark and code will be publicly released.