Infant simulator with an embodied caregiver: Generating infant-perspective touch and vision during social interaction
作者: Noemi Vaculinova, Matej Hoffmann
分类: cs.RO
发布日期: 2026-10-05
备注: 8 pages, 10 figures
💡 一句话要点
提出多模态婴儿模拟器以增强护理者-婴儿互动研究
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态婴儿模型 护理者互动 触觉分析 社会互动发展 机器人模拟
📋 核心要点
- 现有的婴儿模拟器通常将婴儿模型孤立，无法有效研究护理者对婴儿发展的影响。
- 本文提出了一种增强的多模态婴儿模型，能够重放护理者与婴儿的互动并生成婴儿视角的观察数据。
- 通过引入源感知接触日志，本文在触觉分析方面取得了显著进展，支持了更精确的触摸率统计。
📝 摘要（中文）
早期发展在护理者与婴儿的互动中展开，婴儿的感知运动流受到身体接触和面对面互动的影响。然而，现有的开发机器人模拟器通常将婴儿模型孤立，限制了对护理者介导体验的研究。本文提出了一种护理者增强的多模态婴儿模型（MIMo）扩展，能够重放双人互动并生成密集的婴儿视角观察。该系统提供了一个与MIMo形态兼容的关节护理者模型，能够重放自然的护理者-婴儿互动，并记录和可视化婴儿的第一人称多模态体验。我们展示了触觉分析的工具，介绍了源感知接触日志，支持触摸率统计的聚合，旨在为社会互动发展建模生成多模态双人数据集。
🔬 方法详解
问题定义：本文旨在解决现有婴儿模拟器无法有效模拟护理者与婴儿之间互动的问题。现有方法缺乏对护理者介导体验的研究，限制了对婴儿早期发展的理解。
核心思路：论文提出了一种护理者增强的多模态婴儿模型（MIMo），通过引入可控的护理者模型和重放自然互动的工作流程，生成婴儿的第一人称多模态观察数据。
技术框架：系统由三个主要模块组成：关节护理者模型、自然互动重放工作流程以及婴儿体验的记录与可视化。关节护理者模型与MIMo形态兼容，能够根据人类测量参数进行调整。
关键创新：最重要的创新在于引入了源感知接触日志，能够区分自我、护理者和环境产生的接触，支持触摸率统计的聚合，显著提高了触觉分析的精度。
关键设计：系统参数设置基于人类测量数据，护理者模型的大小可以根据记录的护理者进行调整。触摸率统计的聚合方法与手动编码相媲美，提升了数据分析的效率和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用源感知接触日志的触觉分析方法能够有效区分不同来源的接触，触摸率统计的准确性与手动编码相当，显著提升了数据分析的效率。这一创新为多模态数据集的生成提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括早期儿童发展研究、机器人护理者设计以及多模态交互系统的开发。通过生成丰富的多模态数据集，该平台能够为理解婴儿与护理者之间的互动提供重要的实验基础，推动相关领域的研究进展。
📄 摘要（原文）
Early development unfolds in caregiver-infant dyads, where infants' sensorimotor streams are shaped by physical contact and face-to-face interaction. Yet developmental robotics simulators commonly model infants in isolation, limiting the study of caregiver-mediated experience. We present a caregiver-enabled extension of the Multi-Modal Infant Model (MIMo) in MuJoCo that turns MIMo into a controllable platform for replaying dyadic interaction and generating dense infant-perspective observations. The system provides (i) an articulated caregiver model compatible with MIMo morphologies, parameterized from anthropometrics and optionally resized to a recorded caregiver; (ii) a workflow to replay naturalistic caregiver-infant holding and soothing interactions; and (iii) logging and visualizing the infant's first-person multimodal experience (we show touch and vision). We showcase the tool on touch by introducing origin-aware contact logging that disambiguates self-, caregiver-, and environment-generated contact and supports aggregation into touch-rate statistics comparable to manual coding. While we showcase tactile analysis, the platform is intended more broadly as a generator of multimodal dyadic datasets (touch and egocentric vision) for modeling the development of social interaction.