SenWorld: A Digital-Twin Simulation for Generating Context-Rich Evaluation Data
作者: Zenghui Zhou, Xiaoyang Li, Xiaoxuan Qiao, Zhilang Wei, Tianming Lei
分类: cs.AI, cs.CY
发布日期: 2026-07-22
💡 一句话要点
提出SenWorld以解决智能助手评估数据缺乏的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数字双胞胎 智能助手 评估数据 隐私保护 数据生成 上下文丰富 事件源驱动
📋 核心要点
- 现有方法在评估智能助手时缺乏上下文丰富的评估数据，且真实数据因隐私问题无法共享。
- SenWorld通过数字双胞胎仿真生成具有固定真实值的评估数据，确保数据的隐私安全和可重复性。
- 实验结果显示，生成的数据在类别分布和通信记录的日常节奏上与真实用户数据高度一致，揭示了智能助手的多项失败案例。
📝 摘要（中文）
智能手机个人助手需要基于长期个人数据进行推理，但评估这些助手需要已知正确答案的上下文丰富的评估数据，而真实设备的轨迹因隐私原因无法共享。为了解决这一挑战，本文提出了SenWorld，一个基于物理的、确定性的、事件源驱动的数字双胞胎仿真系统，能够生成具有固定真实值的数据。SenWorld中的角色在基于真实地图、天气、假期和网络数据构建的世界中生活一天，所有可观察信号都被存档在全系统快照中。每个评估案例通过指向现有记录的指针进行标记，而不是通过事后注释或大型语言模型进行判断。通过在北京对16个角色进行评估，生成的数据在类别分布和通信记录的日常节奏上与真实用户基准高度匹配，尽管生成的记录仍然比真实记录短。
🔬 方法详解
问题定义：本文旨在解决智能手机个人助手评估中缺乏上下文丰富的评估数据的问题。现有方法无法提供已知答案的真实数据，且真实数据因隐私问题无法共享。
核心思路：SenWorld通过构建一个基于真实环境的数字双胞胎仿真系统，生成具有固定真实值的评估数据。该系统模拟角色在一天内的生活，确保生成数据的真实性和可靠性。
技术框架：SenWorld的整体架构包括角色模拟、环境构建和数据生成三个主要模块。角色在真实地图和天气数据的基础上进行交互，所有信号通过全系统快照进行存档。
关键创新：SenWorld的主要创新在于其事件源驱动的设计，确保生成的数据具有固定的真实值，而不是依赖于后期注释或大型语言模型的判断。这一方法显著提高了数据的可靠性和隐私保护。
关键设计：在设计中，SenWorld采用了基于真实环境的角色交互模型，确保生成的数据在类别分布和日常节奏上与真实用户数据高度一致。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SenWorld生成的数据在类别分布上与真实用户基准的Jensen–Shannon散度为0.070，通信记录的日常节奏JSD低于0.1，尽管生成的记录长度短于真实记录。该系统揭示了智能助手在通话和短信记录方面的78个失败案例，确认了助手端的检索错误。
🎯 应用场景
SenWorld的研究成果在智能助手的评估和优化中具有广泛的应用潜力。通过生成上下文丰富的评估数据，研究者和开发者可以更有效地识别和修复智能助手中的问题，从而提升用户体验。此外，该方法在保护用户隐私的同时，提供了可重复的评估路径，具有重要的实际价值。
📄 摘要（原文）
Smartphone personal assistants reason over longitudinal personal data, yet evaluating them requires context-rich evaluation data whose correct answers are known, and real device traces are too privacy-sensitive to share. To address this challenge, we present SenWorld, a physically grounded, deterministic, event-sourced digital-twin simulation that generates such data with ground truth fixed by construction. In SenWorld, personas live through a full day in a world built from real map, weather, holiday, and network data; every observable signal is archived in full-system snapshots; and each evaluation case is labeled by a pointer to an existing record rather than by post-hoc annotation or a large language model (LLM) judge. We evaluate this method with 16 personas in Beijing. The generated data closely matches the held-out real-user benchmark in category distribution (Jensen--Shannon divergence (JSD) 0.070) and in the daily rhythm of communication records (JSD below 0.1), though generated records remain shorter than real ones. Without scripted interaction, personas form a fully reciprocated dialogue subgraph and differentiated behavioral repertoires. Projected into 717 evaluation cases, the generated data exposes 78 failures in a production smartphone assistant, concentrating on call and Short Message Service (SMS) records while contacts, schedules, and alarms never fail. The snapshot pointer confirms each failure as an assistant-side retrieval error, with no LLM judge involved. Overall, SenWorld offers a privacy-safe, reproducible, and distribution-checked path to evaluation data whose labels are fixed by construction.