ICM-Bench: Person-Level Identity Reasoning in Multimodal Agents with Long-Term Memory
作者: Shidu Ren, Yunze Liu, Xing Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen
分类: cs.CV
发布日期: 2026-09-03
备注: 20 pages, 6 figures, and 7 tables. Code: https://github.com/Shidu-Ren/ICM-Bench
💡 一句话要点
提出ICM-Bench以解决多模态代理中的身份推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 身份推理 多模态代理 记忆基准 人工智能
📋 核心要点
- 现有的长视频和多模态代理基准未能有效评估维持重复人物身份及其跨时间关系的能力。
- 本文提出ICM-Bench，专门用于评估多模态代理在长视频记忆中的身份中心推理能力。
- 实验结果表明，尽管现有系统在事件级记忆恢复上表现良好，但在需要长期身份资料的问题上表现不佳。
📝 摘要（中文）
长时间跨度的多模态代理不仅需要记住发生了什么，还需记住参与者的身份。现有的长视频和多模态代理基准测试未能有效评估维持重复人物身份及其跨时间关系的能力。为此，本文提出了ICM-Bench（身份中心记忆基准），这是首个专门设计用于评估多模态代理在长视频记忆中进行身份中心推理的基准。该基准包含839个合成片段，时长141分钟，并针对六位重复出现的成年人提出了1217个开放式问题。通过主题可配置的管道生成视频集合，并将每个问题与其目标身份及可追溯的支持证据关联。
🔬 方法详解
问题定义：本文旨在解决多模态代理在长时间视频中维持和推理人物身份的能力不足，现有方法未能有效评估这一能力。
核心思路：ICM-Bench通过构建一个专门的基准，聚焦于身份中心的记忆推理，旨在提供一个系统化的评估框架，以便更好地理解多模态代理在身份识别和记忆方面的表现。
技术框架：该基准包含839个合成视频片段，时长141分钟，围绕六位成年人设计了1217个开放式问题。视频生成采用主题可配置的管道，确保每个问题与目标身份及其支持证据的关联性。
关键创新：ICM-Bench是首个专门针对身份中心推理的基准，填补了现有多模态代理评估中的空白，强调了身份在长时间记忆中的重要性。
关键设计：在实验中，采用了直接的字幕-记忆基线、增强记忆的代理和图检索系统等多种方法进行比较，确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Gemini 3.1 Pro在整体准确率上达到了74.0%，但在需要长期身份资料的问题上准确率下降至60.3%。这表明当前系统在事件级记忆恢复上表现良好，但在稳定人物身份的证据积累方面仍显不足。
🎯 应用场景
该研究的潜在应用领域包括智能监控、社交机器人和虚拟助手等，能够提升这些系统在复杂环境中对人物身份的理解和记忆能力，进而改善人机交互的自然性和有效性。未来，该基准可能推动更多关于身份推理的研究，促进多模态技术的发展。
📄 摘要（原文）
Long-horizon multimodal agents should remember not only what happened but also who participated. This capability depends on linking recurring faces, voices, names, person-associated objects, events, and social relations to consistent identities over time. Existing long-video and multimodal-agent benchmarks measure broad memory question answering, but they do not isolate the ability to maintain recurring person identities and reason over their cross-time relations. We introduce ICM-Bench (Identity-Centric Memory Benchmark), which, to the best of our knowledge, is the first benchmark specifically designed to evaluate identity-centric reasoning over long video memories in multimodal agents. The benchmark contains 839 synthetic clips spanning 141 minutes and 1,217 open-ended questions about six recurring adults in a one-year life album. A theme-configurable pipeline generates the video collection and associates each question with its target identities and traceable supporting evidence. We compare direct caption-memory baselines, memory-augmented agents, and graph-retrieval systems. Gemini 3.1 Pro achieves the highest overall accuracy of 74.0%, yet its score falls to 60.3% on questions that require long-term identity profiles. The results show that current systems recover many event-level memories but remain less reliable when evidence must be accumulated around a stable person.