Evaluating Memory Capability in Continuous Lifelog Scenario
作者: Jianjie Zheng, Zhichen Liu, Zhanyu Shen, Jingxiang Qu, Guanhua Chen, Yile Wang, Yang Xu, Yang Liu, Sijie Cheng
分类: cs.CL
发布日期: 2026-04-13
备注: 27 pages, 7 figures. ACL 2026 Findings camera-ready
🔗 代码/项目: GITHUB
💡 一句话要点
提出LifeDialBench基准测试，评估连续生活记录场景下的记忆能力
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 生活记录 记忆系统 基准测试 在线评估 时间因果性
📋 核心要点
- 现有基准测试主要关注在线一对一聊天或人机交互，忽略了真实世界生活记录场景的独特需求。
- 论文提出分层合成框架，构建LifeDialBench基准，包含EgoMem和LifeMem两个子集，更贴近真实场景。
- 提出在线评估协议，避免时间泄露，实验表明现有复杂记忆系统性能不如简单的RAG基线。
📝 摘要（中文）
本文针对现有记忆系统在真实生活记录场景中表现不佳的问题，提出了一个分层合成框架，用于构建新的基准测试数据集 extbf{ extsc{LifeDialBench}}。该基准包含两个互补的子集：基于真实第一视角视频构建的 extbf{EgoMem}和使用模拟虚拟社区构建的 extbf{LifeMem}。为了解决传统离线评估中存在的时间泄露问题，本文提出了一种严格遵守时间因果关系的 extbf{在线评估}协议，确保系统在真实的流式环境中进行评估。实验结果表明，当前复杂的记忆系统甚至无法超越简单的基于RAG的基线模型。这突出了过度设计结构和有损压缩对性能的负面影响，强调了在高保真度下保持上下文信息对于生活记录场景的重要性。代码和数据已开源。
🔬 方法详解
问题定义：现有记忆系统在连续的生活记录场景中表现不佳，主要原因是现有基准测试数据集无法充分模拟真实场景的复杂性和时间连续性。此外，传统的离线评估方法存在时间泄露问题，使得评估结果无法真实反映系统在实际应用中的性能。现有方法往往侧重于在线一对一聊天或人机交互，忽略了真实世界生活记录场景的独特需求，例如长时间的上下文依赖、多主体交互和背景噪声等。
核心思路：论文的核心思路是构建一个更贴近真实生活记录场景的基准测试数据集，并采用在线评估协议来避免时间泄露。通过分层合成框架，可以灵活地控制数据集的规模和多样性，同时保证数据质量。在线评估协议能够模拟真实的流式数据输入，更准确地评估系统在实际应用中的性能。通过对比现有记忆系统和简单的RAG基线，可以揭示现有方法的不足之处，并为未来的研究方向提供指导。
技术框架：LifeDialBench基准测试数据集的构建采用分层合成框架，包含两个主要模块：EgoMem和LifeMem。EgoMem基于真实的第一视角视频构建，包含真实的生活场景和对话。LifeMem使用模拟虚拟社区构建，可以灵活地控制对话的内容和参与者。在线评估协议采用流式数据输入，系统需要根据当前输入和历史记忆进行推理，并输出结果。评估指标包括准确率、召回率和F1值等。
关键创新：论文的关键创新在于提出了一个分层合成框架来构建更贴近真实生活记录场景的基准测试数据集，并采用在线评估协议来避免时间泄露。与现有基准测试数据集相比，LifeDialBench包含更长时间的上下文依赖、多主体交互和背景噪声等，更能够反映真实场景的复杂性。与传统的离线评估方法相比，在线评估协议能够模拟真实的流式数据输入，更准确地评估系统在实际应用中的性能。
关键设计：在数据集构建方面，EgoMem使用了真实的第一视角视频，并对视频中的对话进行标注。LifeMem使用了模拟虚拟社区，并设计了不同的对话场景和角色。在在线评估协议方面，采用了滑动窗口的方式来模拟流式数据输入，并设置了不同的时间窗口大小。在模型评估方面，使用了准确率、召回率和F1值等指标来评估系统的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前复杂的记忆系统在LifeDialBench上的表现甚至不如简单的基于RAG的基线模型。这表明现有方法在处理长时间上下文依赖和高噪声数据方面存在不足。该发现强调了在高保真度下保持上下文信息对于生活记录场景的重要性，并为未来的研究方向提供了指导。
🎯 应用场景
该研究成果可应用于开发更智能的个人助手、智能家居系统和可穿戴设备。通过提升记忆系统在连续生活记录场景下的性能，可以帮助用户更好地管理个人信息、回忆重要事件和进行智能决策。未来，该研究还可以扩展到其他领域，如医疗健康、教育和娱乐等。
📄 摘要（原文）
Nowadays, wearable devices can continuously lifelog ambient conversations, creating substantial opportunities for memory systems. However, existing benchmarks primarily focus on online one-on-one chatting or human-AI interactions, thus neglecting the unique demands of real-world scenarios. Given the scarcity of public lifelogging audio datasets, we propose a hierarchical synthesis framework to curate \textbf{\textsc{LifeDialBench}}, a novel benchmark comprising two complementary subsets: \textbf{EgoMem}, built on real-world egocentric videos, and \textbf{LifeMem}, constructed using simulated virtual community. Crucially, to address the issue of temporal leakage in traditional offline settings, we propose an \textbf{Online Evaluation} protocol that strictly adheres to temporal causality, ensuring systems are evaluated in a realistic streaming fashion. Our experimental results reveal a counterintuitive finding: current sophisticated memory systems fail to outperform a simple RAG-based baseline. This highlights the detrimental impact of over-designed structures and lossy compression in current approaches, emphasizing the necessity of high-fidelity context preservation for lifelog scenarios. We release our code and data at https://github.com/qys77714/LifeDialBench.