Baby Sophia: A Developmental Approach to Self-Exploration through Self-Touch and Hand Regard

📄 arXiv: 2511.09727v1 📥 PDF

作者: Stelios Zarifis, Ioannis Chalkiadakis, Artemis Chardouveli, Vasiliki Moutzouri, Aggelos Sotirchos, Katerina Papadimitriou, Panagiotis Filntisis, Niki Efthymiou, Petros Maragos, Katerina Pastra

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-11-12

备注: 5 pages, 3 tables

💡 一句话要点

Baby Sophia：基于强化学习和自触摸、手部观察的机器人自主探索

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人自主探索 强化学习 内在奖励 自触摸 手部观察 课程学习 多模态学习

📋 核心要点

  1. 现有机器人自主探索方法缺乏对婴儿早期发展阶段的模仿，限制了其在复杂环境中的适应性和泛化能力。
  2. 论文提出基于强化学习的框架，模拟婴儿通过自触摸和手部观察进行自主探索，利用内在奖励驱动学习。
  3. 实验结果表明，该方法仅通过好奇心驱动的信号，即可实现协调的多模态学习，模仿婴儿的早期行为发展。

📝 摘要（中文）

本文提出了一种受婴儿发育启发的强化学习框架，用于机器人代理Baby Sophia在BabyBench仿真环境中进行自主探索。该代理通过模仿婴儿的好奇心驱动的身体探索，学习自触摸和手部观察行为。对于自触摸，高维触觉输入被转换为紧凑且有意义的表示，从而实现高效学习。然后，代理通过内在奖励和课程学习发现新的触觉接触，鼓励广泛的身体覆盖、平衡和泛化。对于手部观察，通过运动 babbling 学习手的视觉特征，例如肤色和形状。然后，内在奖励鼓励代理执行新的手部运动，并用视线跟随它的手。从单手到双手的课程学习设置使代理能够达到复杂的视觉-运动协调。这项工作的结果表明，纯粹基于好奇心的信号，在没有外部监督的情况下，可以驱动协调的多模态学习，模仿婴儿从随机运动 babbling 到有目的的行为的进展。

🔬 方法详解

问题定义：现有机器人自主探索方法通常依赖于预定义的任务或外部监督信号，缺乏像婴儿一样的好奇心驱动的内在探索机制。这导致机器人难以在复杂、未知的环境中自主学习和适应，尤其是在触觉和视觉感知方面缺乏有效的探索策略。

核心思路：论文的核心思路是模拟婴儿的早期发展阶段，通过内在奖励（intrinsic rewards）来驱动机器人自主探索。具体来说，机器人通过自触摸来学习触觉感知，通过手部观察来学习视觉感知，并利用课程学习（curriculum learning）逐步提高学习难度。这种方法旨在使机器人能够像婴儿一样，通过自身的互动和探索来发现环境的规律和自身的运动能力。

技术框架：Baby Sophia的整体框架包含两个主要模块：自触摸学习和手部观察学习。对于自触摸学习，首先将高维触觉输入转换为低维表示，然后使用强化学习算法训练机器人探索身体的不同部位，并获得内在奖励。对于手部观察学习，首先通过运动 babbling 学习手的视觉特征，然后使用强化学习算法训练机器人执行新的手部运动，并用视线跟随手部，同样获得内在奖励。课程学习被用于逐步增加学习难度，例如从单手到双手的训练。

关键创新：该论文的关键创新在于将婴儿的早期发展阶段作为机器人自主探索的灵感来源，并设计了相应的内在奖励机制和课程学习策略。与传统的基于外部监督的强化学习方法不同，该方法完全依赖于好奇心驱动的信号，无需人工标注或预定义的任务。此外，该方法还提出了一种有效的触觉数据表示方法，可以处理高维触觉输入。

关键设计：在自触摸学习中，使用自动编码器将高维触觉数据压缩成低维表示。内在奖励函数的设计鼓励机器人探索身体的不同部位，并保持身体平衡。在手部观察学习中，使用卷积神经网络提取手的视觉特征。课程学习策略从单手训练开始，逐步过渡到双手训练，并增加手部运动的复杂性。强化学习算法采用Proximal Policy Optimization (PPO) 或类似算法，以稳定训练过程。

📊 实验亮点

实验结果表明，Baby Sophia能够在BabyBench仿真环境中成功学习自触摸和手部观察行为。通过自触摸，机器人能够探索身体的不同部位，并学习触觉感知。通过手部观察，机器人能够学习手的视觉特征，并实现视觉-运动协调。与没有内在奖励的基线方法相比，该方法能够显著提高机器人的探索效率和学习效果。

🎯 应用场景

该研究成果可应用于康复机器人、儿童陪伴机器人等领域。通过模拟婴儿的自主探索行为，可以使机器人更好地理解自身和环境，从而实现更自然、更智能的人机交互。此外，该方法还可以为其他类型的机器人自主学习提供借鉴，例如在未知环境中进行导航和操作。

📄 摘要（原文）

Inspired by infant development, we propose a Reinforcement Learning (RL) framework for autonomous self-exploration in a robotic agent, Baby Sophia, using the BabyBench simulation environment. The agent learns self-touch and hand regard behaviors through intrinsic rewards that mimic an infant's curiosity-driven exploration of its own body. For self-touch, high-dimensional tactile inputs are transformed into compact, meaningful representations, enabling efficient learning. The agent then discovers new tactile contacts through intrinsic rewards and curriculum learning that encourage broad body coverage, balance, and generalization. For hand regard, visual features of the hands, such as skin-color and shape, are learned through motor babbling. Then, intrinsic rewards encourage the agent to perform novel hand motions, and follow its hands with its gaze. A curriculum learning setup from single-hand to dual-hand training allows the agent to reach complex visual-motor coordination. The results of this work demonstrate that purely curiosity-based signals, with no external supervision, can drive coordinated multimodal learning, imitating an infant's progression from random motor babbling to purposeful behaviors.