LIVIN: Benchmarking Spatial and Embodied Intelligence in Digital Twins of Lived-In Homes
作者: Peijun Xu, Chuansen Nie, Yiyang He, Yinuo Bai, Jingyang Liu, Kuixiang Shao, Yuyang Jiao, Kuanhao Xia, Jiayi Zhu, Zitian Yang, Yanqi Zhang, Tianye Tan, Shuwei Di, Junyi Xu, Jingyi Yu, Jiayuan Gu
分类: cs.CV
发布日期: 2026-10-08 (更新: 2026-10-09)
💡 一句话要点
提出LIVIN基准以解决真实家庭环境中的空间与具身智能问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间智能 具身智能 数字双胞胎 家庭环境 机器人交互 3D重建 导航任务
📋 核心要点
- 现有方法在真实家庭环境中模拟物体布局和空间约束时存在不足，难以实现真实的交互体验。
- 论文提出LIVIN基准，通过人机协作的工作流程构建30个真实家庭的数字双胞胎，以提升空间与具身智能的评估。
- 实验结果显示，当前方法在处理复杂的物体布局和交互区域时仍存在挑战，LIVIN为未来研究提供了新的方向。
📝 摘要（中文）
现实家庭模拟不仅需要捕捉多样的环境，还需反映真实的物品布局和空间约束，这对机器人运动和交互至关重要。现有资源往往在规模、现实对应性和交互准备性之间存在权衡，导致缺乏真实家庭的互动复制品。为此，我们提出LIVIN，一个基于30个多样化真实家庭数字双胞胎的空间与具身智能基准。这些复制品保留了观察到的房间布局、家具配置和日常物品。我们设计了一个人机协作的工作流程，包括实例识别、建筑重建和物体生成与放置，并在每个阶段通过人类对照源观察进行审核和修正。我们在LIVIN中评估了四项任务：3D检测、3D重建、导航和运动操控。评估结果表明，当前方法在处理真实家庭中的密集物体布局、遮挡、有限的自由空间和受限的交互区域时仍面临挑战。我们希望LIVIN能推动具身人工智能在真实家庭中的发展，从空间理解到机器人交互，最终将具身智能带入日常家庭环境。
🔬 方法详解
问题定义：本论文旨在解决现有家庭环境模拟中缺乏真实感和交互性的不足，尤其是在物体布局和空间约束方面的挑战。现有方法往往无法真实反映家庭环境的复杂性。
核心思路：论文的核心思路是构建一个包含真实家庭环境的数字双胞胎基准LIVIN，通过人机协作的方式确保每个阶段的准确性和真实性，以便更好地评估空间与具身智能。
技术框架：整体架构包括实例识别、建筑重建和物体生成与放置三个主要模块。每个模块的中间结果都经过人类审核，以确保与源观察的一致性。
关键创新：最重要的技术创新点在于引入了人机协作的工作流程，使得在每个阶段都能进行实时的审核和修正，从而提高了模型的准确性和可靠性。这与传统的自动化方法形成了鲜明对比。
关键设计：在参数设置上，采用了适应性损失函数以优化模型在复杂环境中的表现，网络结构则结合了卷积神经网络和图神经网络，以更好地处理空间关系和物体交互。具体的设计细节和参数设置在论文中有详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前方法在处理真实家庭环境中的密集物体布局时仍面临挑战，尤其是在3D检测和导航任务中。LIVIN基准的引入使得这些任务的评估更加真实，未来有助于提升具身智能的研究和应用。具体性能数据和对比基线将在论文中详细列出。
🎯 应用场景
该研究的潜在应用领域包括智能家居、机器人助手和虚拟现实等。通过提供真实家庭环境的数字双胞胎，LIVIN可以帮助研究人员和开发者更好地理解和设计具身智能系统，从而提升家庭自动化和人机交互的实际效果。未来，LIVIN有望成为推动智能家居技术发展的重要基准。
📄 摘要（原文）
Realistic household simulation must capture not only diverse environments but also the lived-in object arrangements and spatial constraints that shape robot motion and interaction. Existing resources often trade off scale, real-world correspondence, and interaction readiness, leaving a gap in faithful, interactive replicas of how real homes are actually arranged. To this end, we introduce LIVIN, a benchmark for spatial and embodied intelligence built on digital twins of 30 diverse lived-in homes. These replicas preserve observed room layouts, furniture configurations, and everyday belongings. To construct them, we design a human-in-the-loop workflow comprising instance recognition, architectural reconstruction, and object generation and placement, with intermediate results reviewed and corrected by humans against the source observations at each stage. We evaluate four tasks in LIVIN: 3D detection, 3D reconstruction, navigation, and loco-manipulation. Our evaluations show that current methods remain challenged by the dense object arrangements, occlusions, limited free space, and constrained interaction regions found in realistic lived-in homes. We hope LIVIN will help advance embodied AI in real-world homes, from spatial understanding to robotic interaction, and ultimately bring embodied intelligence into everyday home environments.