LIVIN: Benchmarking Spatial and Embodied Intelligence in Digital Twins of Lived-In Homes
作者: Peijun Xu, Chuansen Nie, Yiyang He, Yinuo Bai, Jingyang Liu, Kuixiang Shao, Yuyang Jiao, Kuanhao Xia, Jiayi Zhu, Zitian Yang, Yanqi Zhang, Tianye Tan, Shuwei Di, Junyi Xu, Jingyi Yu, Jiayuan Gu
分类: cs.CV
发布日期: 2026-10-08
💡 一句话要点
提出LIVIN基准以解决真实家庭环境中的空间与具身智能问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数字双胞胎 空间智能 具身智能 家庭环境 机器人交互 3D重建 实例识别
📋 核心要点
- 现有方法在真实家庭环境中难以有效处理密集物体排列和空间限制，导致机器人交互能力不足。
- 论文提出LIVIN基准，通过数字双胞胎技术构建真实家庭环境的互动复制品，提升空间与具身智能的评估标准。
- 实验结果表明，当前方法在处理复杂家庭环境时仍存在显著挑战，推动了对具身AI的进一步研究需求。
📝 摘要（中文）
现实家庭模拟不仅需要捕捉多样的环境，还需考虑居住物品的排列和空间限制，这些因素影响机器人运动和交互。现有资源往往在规模、真实世界对应性和交互准备性之间存在权衡，导致缺乏真实家庭的互动复制品。为此，我们提出LIVIN，一个基于30个多样化居住家庭的数字双胞胎的空间与具身智能基准。这些复制品保留了观察到的房间布局、家具配置和日常物品。我们设计了一个人机协作的工作流程，包括实例识别、建筑重建和物体生成与放置，且每个阶段的中间结果均由人类进行审查和修正。我们在LIVIN中评估了四个任务：3D检测、3D重建、导航和运动操控。评估结果显示，当前方法在真实家庭中密集的物体排列、遮挡、有限的自由空间和受限的交互区域方面仍面临挑战。我们希望LIVIN能推动具身人工智能在真实家庭中的发展，从空间理解到机器人交互，最终将具身智能带入日常家庭环境。
🔬 方法详解
问题定义：本论文旨在解决现有家庭环境模拟在规模、真实对应性和交互准备性方面的不足，尤其是在密集物体排列和空间限制下的机器人交互能力。
核心思路：通过构建基于数字双胞胎的真实家庭环境复制品，LIVIN基准提供了一个全面的评估平台，旨在提升机器人在复杂家庭环境中的空间理解和交互能力。
技术框架：整体架构包括三个主要模块：实例识别、建筑重建和物体生成与放置。每个阶段的中间结果都经过人类审查和修正，以确保高保真度。
关键创新：LIVIN的主要创新在于其人机协作的工作流程，结合了实例识别和建筑重建技术，确保了生成的家庭环境在布局和物品配置上与真实家庭高度一致。
关键设计：在技术细节上，论文采用了特定的损失函数来优化物体放置的准确性，并设计了适应性强的网络结构以处理复杂的空间关系。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前方法在处理真实家庭环境中的密集物体排列和遮挡时仍面临挑战，尤其在3D检测和导航任务中，性能提升幅度有限。这表明了LIVIN基准在推动具身AI研究中的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、服务机器人和人机交互等。通过提升机器人在真实家庭环境中的空间理解和交互能力，LIVIN有望推动智能家居技术的发展，使机器人能够更好地适应和服务于人类日常生活。
📄 摘要（原文）
Realistic household simulation must capture not only diverse environments but also the lived-in object arrangements and spatial constraints that shape robot motion and interaction. Existing resources often trade off scale, real-world correspondence, and interaction readiness, leaving a gap in faithful, interactive replicas of how real homes are actually arranged. To this end, we introduce LIVIN, a benchmark for spatial and embodied intelligence built on digital twins of 30 diverse lived-in homes. These replicas preserve observed room layouts, furniture configurations, and everyday belongings. To construct them, we design a human-in-the-loop workflow comprising instance recognition, architectural reconstruction, and object generation and placement, with intermediate results reviewed and corrected by humans against the source observations at each stage. We evaluate four tasks in LIVIN: 3D detection, 3D reconstruction, navigation, and loco-manipulation. Our evaluations show that current methods remain challenged by the dense object arrangements, occlusions, limited free space, and constrained interaction regions found in realistic lived-in homes. We hope LIVIN will help advance embodied AI in real-world homes, from spatial understanding to robotic interaction, and ultimately bring embodied intelligence into everyday home environments.