MTSpark: Enabling Multi-Task Learning with Spiking Neural Networks for Generalist Agents

📄 arXiv: 2412.04847v1 📥 PDF

作者: Avaneesh Devkota, Rachmad Vidya Wicaksana Putra, Muhammad Shafique

分类: cs.NE, cs.AI, cs.LG

发布日期: 2024-12-06

备注: 9 pages, 10 figures, 5 tables

💡 一句话要点

MTSpark：利用脉冲神经网络实现多任务学习，面向通用智能体

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 脉冲神经网络 强化学习 通用智能体 深度Q网络

📋 核心要点

  1. 现有强化学习方法在多任务学习中面临灾难性遗忘问题，阻碍了通用智能体的开发。
  2. MTSpark提出一种基于脉冲神经网络的多任务强化学习方法，利用任务特定上下文信号动态调节网络。
  3. 实验表明，MTSpark在Atari游戏和图像分类任务中均优于现有技术，展现了其通用性。

📝 摘要（中文）

目前，最先进的强化学习方法在单任务环境中表现出色，但由于灾难性遗忘的挑战，它们在多任务泛化方面仍然存在困难，即先前学习的任务会随着新任务的引入而被遗忘。这种多任务学习能力对于通用智能体至关重要，其中自适应特征是高度需要的（例如，自主机器人）。另一方面，脉冲神经网络（SNN）由于其基于稀疏脉冲的操作，已成为一种替代的节能神经网络算法。为此，我们提出了一种新的方法MTSpark，以使用脉冲神经网络实现多任务强化学习。具体来说，MTSpark开发了一个具有主动树突和决斗结构的深度脉冲Q网络（DSQN），利用特定于任务的上下文信号。具体而言，每个神经元计算任务相关的激活，动态地调节输入，从而为每个任务形成专门的子网络。此外，这种生物可信的网络模型也受益于SNN，增强了能源效率，并使该模型适合硬件实现。实验结果表明，我们的MTSpark能够有效地学习多个任务，并且性能优于现有技术。具体来说，MTSpark在三个Atari游戏中成功获得了高分（即，Pong：-5.4，Breakout：0.6和Enduro：371.2），达到了人类水平的性能（即，Pong：-3，Breakout：31和Enduro：368），而现有技术难以实现。此外，我们的MTSpark在图像分类任务中也显示出比现有技术更好的准确性。这些结果突出了我们的MTSpark方法在开发通用智能体方面的潜力，该智能体可以通过利用强化学习和SNN概念来学习多个任务。

🔬 方法详解

问题定义：论文旨在解决强化学习中多任务学习的灾难性遗忘问题。现有方法在学习新任务时容易忘记之前学习的任务，导致无法构建通用的智能体。这种问题限制了强化学习在需要适应多种环境和任务的实际应用中的潜力。

核心思路：MTSpark的核心思路是利用脉冲神经网络（SNN）的稀疏性和生物可解释性，结合任务特定的上下文信息，动态地调整网络结构，从而为每个任务创建专门的子网络。通过这种方式，网络可以在学习新任务的同时，保留之前学习的任务的知识。

技术框架：MTSpark采用深度脉冲Q网络（DSQN）作为基础架构，并引入了主动树突和决斗结构。整体流程如下：1. 输入任务特定的上下文信号。2. DSQN中的神经元根据上下文信号计算任务相关的激活。3. 激活动态地调节输入，形成特定于任务的子网络。4. 使用强化学习算法训练网络，使其能够学习多个任务。

关键创新：MTSpark的关键创新在于利用任务特定的上下文信号和主动树突机制，动态地调整脉冲神经网络的结构，从而实现多任务学习。与传统的静态网络结构相比，MTSpark能够更好地适应不同的任务，并避免灾难性遗忘。此外，使用SNN也提高了能源效率。

关键设计：MTSpark的关键设计包括：1. 任务特定上下文信号的编码方式。2. 主动树突的激活函数和调节机制。3. 决斗结构的Q值分解方式。4. 脉冲神经网络的参数设置，例如阈值电压和时间常数。论文中可能还涉及特定的损失函数设计，以鼓励网络学习共享的知识和特定于任务的知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MTSpark在三个Atari游戏中取得了显著的性能提升，达到了接近人类水平的性能。具体来说，在Pong游戏中，MTSpark的得分为-5.4，接近人类水平的-3；在Breakout游戏中，MTSpark的得分为0.6，远高于现有技术的水平；在Enduro游戏中，MTSpark的得分为371.2，与人类水平的368相当。此外，MTSpark在图像分类任务中也表现出比现有技术更好的准确性。

🎯 应用场景

MTSpark具有广泛的应用前景，尤其是在需要通用智能体的领域，如自主机器人、自动驾驶和智能助手。它可以使智能体在不同的环境和任务中进行自适应学习，从而提高其鲁棒性和泛化能力。此外，由于SNN的能源效率，MTSpark也适用于资源受限的设备，如移动机器人和嵌入式系统。

📄 摘要（原文）

Currently, state-of-the-art RL methods excel in single-task settings, but they still struggle to generalize across multiple tasks due to catastrophic forgetting challenges, where previously learned tasks are forgotten as new tasks are introduced. This multi-task learning capability is significantly important for generalist agents, where adaptation features are highly required (e.g., autonomous robots). On the other hand, Spiking Neural Networks (SNNs) have emerged as alternative energy-efficient neural network algorithms due to their sparse spike-based operations. Toward this, we propose MTSpark, a novel methodology to enable multi-task RL using spiking networks. Specifically, MTSpark develops a Deep Spiking Q-Network (DSQN) with active dendrites and dueling structure by leveraging task-specific context signals. Specifically, each neuron computes task-dependent activations that dynamically modulate inputs, forming specialized sub-networks for each task. Moreover, this bioplausible network model also benefits from SNNs, enhancing energy efficiency and making the model suitable for hardware implementation. Experimental results show that, our MTSpark effectively learns multiple tasks with higher performance compared to the state-of-the-art. Specifically, MTSpark successfully achieves high score in three Atari games (i.e., Pong: -5.4, Breakout: 0.6, and Enduro: 371.2), reaching human-level performance (i.e., Pong: -3, Breakout: 31, and Enduro: 368), where state-of-the-art struggle to achieve. In addition, our MTSpark also shows better accuracy in image classification tasks than the state-of-the-art. These results highlight the potential of our MTSpark methodology to develop generalist agents that can learn multiple tasks by leveraging both RL and SNN concepts.