Continual Visual and Verbal Learning Through a Child's Egocentric Input

📄 arXiv: 2606.05115v1 📥 PDF

作者: Xiaoyang Jiang, Yanlai Yang, Kenneth A. Norman, Brenden Lake, Mengye Ren

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-06-03

备注: 15 pages, 4 figures

💡 一句话要点

提出BabyCL框架以解决儿童语言学习中的数据处理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 儿童语言学习 多模态学习 流式学习 视觉表示 对比学习 神经网络 数据处理 机器学习

📋 核心要点

  1. 现有方法在处理儿童语言学习时，通常需要在打乱的数据上进行多次训练，无法模拟儿童的真实学习过程。
  2. 本文提出BabyCL框架，通过单次时间顺序处理数据，结合流式视觉学习与图像-文本对比目标，模拟儿童的学习方式。
  3. 实验结果表明，BabyCL在SAYCam Labeled-S 4AFC基准测试中表现优异，显著提高了学习效率，缩小了与离线训练的差距。

📝 摘要（中文）

儿童通过连续的自我中心体验学习词汇的意义。尽管已有研究表明神经网络可以从儿童的自我中心视频中学习词汇与指称的映射，但这些网络通常需要在打乱的数据上循环训练数百个周期，这与儿童实际的环境体验相悖。本文提出了BabyCL，一个持续的多模态学习框架，能够在单次时间顺序传递中处理SAYCam数据集，结合流式视觉表示学习与图像-文本对比目标。BabyCL通过多阶段的时间分割和独立管理视觉与多模态历史的双重重放缓冲区进行训练，并在共享骨干网络上联合训练三种对比损失。在相同的优化预算下，BabyCL在SAYCam Labeled-S 4AFC基准测试中超越了流式学习基线，显著缩小了与离线训练上限的差距。

🔬 方法详解

问题定义：本文旨在解决儿童语言学习中，现有神经网络方法在打乱数据上循环训练的问题，这种方法无法真实反映儿童的学习过程。

核心思路：提出BabyCL框架，通过单次时间顺序处理数据，结合视觉表示学习与图像-文本对比目标，模拟儿童的学习方式，提升学习效率。

技术框架：BabyCL框架包括多阶段的时间分割和双重重放缓冲区，分别管理视觉和多模态历史，并在共享骨干网络上联合训练三种对比损失。

关键创新：最重要的创新在于其持续的多模态学习能力，能够在单次时间顺序中处理数据，显著提高了学习效率，与传统方法形成鲜明对比。

关键设计：在设计中，采用了多阶段的时间分割策略和独立的重放缓冲区，确保了视觉和多模态信息的有效管理，同时使用三种对比损失函数来增强模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BabyCL在SAYCam Labeled-S 4AFC基准测试中表现优异，相较于流式学习基线有显著提升，缩小了与离线训练上限的差距，验证了该框架的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、儿童语言学习辅助工具和智能机器人等。通过模拟儿童的学习过程，BabyCL框架能够为开发更智能的学习系统提供理论基础和技术支持，未来可能在教育和人机交互领域产生深远影响。

📄 摘要（原文）

Children learn the meanings of words from a continuous, temporally structured stream of egocentric experience. Recent work shows that neural networks can also learn word-referent mappings from a child's egocentric video recordings, but they cycle through the shuffled data for hundreds of epochs, contrasting with how children actually encounter their environment. We introduce BabyCL, a continual multimodal learning framework that processes the SAYCam dataset in a single chronological pass, combining streaming visual representation learning with an image-text contrastive objective. BabyCL combines a multi-stage temporal segmentation of the stream with a dual replay buffer that independently manages visual and multimodal histories, and it is jointly trained with three contrastive losses on a shared backbone. Under a matched optimization budget, BabyCL outperforms streaming learning baselines on the SAYCam Labeled-S 4AFC benchmark, substantially narrowing the gap to an upper bound of offline training. Ablations show that the gains are robust to the length of the online temporal segmentation window and the eviction rule of the replay buffer. Together, these results show that meaningful word-referent mappings can emerge under training conditions much closer to a child's actual experience.