Agile Reinforcement Learning through Separable Neural Architecture

📄 arXiv: 2601.23225v1 📥 PDF

作者: Rajib Mostakim, Reza T. Batley, Sourav Saha

分类: cs.LG, cs.AI

发布日期: 2026-01-30

💡 一句话要点

提出SPAN：一种基于可分离神经架构的敏捷强化学习方法，提升样本效率和策略学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 函数逼近 可分离神经架构 B样条 资源受限 样本效率 策略优化 KHRONOS

📋 核心要点

  1. 深度强化学习在资源受限环境中的应用受限于MLP的参数效率和学习效率。
  2. SPAN通过集成可学习预处理层和可分离张量积B样条基，改进低秩KHRONOS框架。
  3. 实验表明，SPAN在样本效率、成功率、随时性能和鲁棒性方面优于MLP基线。

📝 摘要（中文）

深度强化学习（RL）越来越多地部署在资源受限的环境中，但常用的函数逼近器——多层感知机（MLP）——由于对许多价值函数的平滑结构的不完善归纳偏置，通常参数效率低下。这种不匹配也会阻碍样本效率，并降低这种容量受限情况下的策略学习速度。虽然存在模型压缩技术，但它们是事后操作，并不能提高学习效率。最近基于样条的可分离架构——如 Kolmogorov-Arnold Networks (KANs)——已被证明具有参数效率，但被广泛报道存在显著的计算开销，尤其是在大规模情况下。为了解决这些限制，本研究引入了SPAN（SPline-based Adaptive Networks），一种用于RL的新型函数逼近方法。SPAN通过将可学习的预处理层与可分离的张量积B样条基集成，从而改进了低秩KHRONOS框架。SPAN在离散（PPO）和高维连续（SAC）控制任务以及离线设置（Minari/D4RL）中进行了评估。实验结果表明，与MLP基线相比，SPAN在基准测试中实现了30-50%的样本效率提升和1.3-9倍的成功率提升。此外，SPAN展示了卓越的随时性能和对超参数变化的鲁棒性，表明它是一种可行的、高性能的替代方案，用于在资源受限的环境中学习内在高效的策略。

🔬 方法详解

问题定义：深度强化学习在资源受限环境中面临挑战，传统MLP作为函数逼近器，由于其固有的归纳偏置与许多价值函数的平滑结构不匹配，导致参数效率低下，进而影响样本效率和策略学习速度。现有的模型压缩技术无法在学习过程中提升效率。

核心思路：SPAN的核心思路是利用可分离的神经架构，特别是B样条基，来更有效地逼近价值函数。通过引入可学习的预处理层，SPAN能够自适应地调整输入特征，从而更好地利用B样条基的优势，提高参数效率和学习效率。这种方法旨在克服MLP的局限性，并在资源受限的环境中实现更高效的强化学习。

技术框架：SPAN的技术框架基于低秩KHRONOS框架，并对其进行了改进。它包含以下主要模块：1) 可学习的预处理层：用于对输入特征进行转换和调整，以更好地适应后续的B样条基。2) 可分离的张量积B样条基：用于构建价值函数的逼近器。3) 强化学习算法（如PPO或SAC）：用于训练SPAN网络，优化策略。

关键创新：SPAN的关键创新在于将可学习的预处理层与可分离的张量积B样条基相结合。这种结合使得SPAN能够自适应地学习输入特征的表示，并利用B样条基的参数效率优势，从而在资源受限的环境中实现更高效的强化学习。与传统的MLP相比，SPAN具有更强的归纳偏置，能够更好地捕捉价值函数的平滑结构。

关键设计：SPAN的关键设计包括：1) 预处理层的网络结构和激活函数选择。2) B样条基的阶数和节点分布。3) 损失函数的设计，通常采用均方误差或交叉熵损失。4) 优化算法的选择，如Adam或SGD。5) 超参数的调整，如学习率、批量大小等。具体参数设置可能因任务而异，需要根据实际情况进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPAN在离散和连续控制任务中均优于MLP基线。在样本效率方面，SPAN实现了30-50%的提升；在成功率方面，SPAN实现了1.3-9倍的提升。此外，SPAN还展示了卓越的随时性能和对超参数变化的鲁棒性，表明其具有很强的实用价值。

🎯 应用场景

SPAN在资源受限的强化学习场景中具有广泛的应用前景，例如移动机器人、嵌入式系统、边缘计算等。它可以帮助这些设备在有限的计算资源和能源下，学习高效的策略，完成复杂的任务。此外，SPAN还可以应用于离线强化学习，利用历史数据进行策略优化，减少在线探索的成本。

📄 摘要（原文）

Deep reinforcement learning (RL) is increasingly deployed in resource-constrained environments, yet the go-to function approximators - multilayer perceptrons (MLPs) - are often parameter-inefficient due to an imperfect inductive bias for the smooth structure of many value functions. This mismatch can also hinder sample efficiency and slow policy learning in this capacity-limited regime. Although model compression techniques exist, they operate post-hoc and do not improve learning efficiency. Recent spline-based separable architectures - such as Kolmogorov-Arnold Networks (KANs) - have been shown to offer parameter efficiency but are widely reported to exhibit significant computational overhead, especially at scale. In seeking to address these limitations, this work introduces SPAN (SPline-based Adaptive Networks), a novel function approximation approach to RL. SPAN adapts the low rank KHRONOS framework by integrating a learnable preprocessing layer with a separable tensor product B-spline basis. SPAN is evaluated across discrete (PPO) and high-dimensional continuous (SAC) control tasks, as well as offline settings (Minari/D4RL). Empirical results demonstrate that SPAN achieves a 30-50% improvement in sample efficiency and 1.3-9 times higher success rates across benchmarks compared to MLP baselines. Furthermore, SPAN demonstrates superior anytime performance and robustness to hyperparameter variations, suggesting it as a viable, high performance alternative for learning intrinsically efficient policies in resource-limited settings.