A Hetero-Associative Sequential Memory Model Utilizing Neuromorphic Signals: Validated on a Mobile Manipulator
作者: Runcong Wang, Fengyi Wang, Gordon Cheng
分类: cs.RO
发布日期: 2025-12-07
💡 一句话要点
提出一种异构联想序列记忆模型，利用神经形态信号控制移动机械臂。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 异构联想记忆 神经形态计算 触觉反馈控制 移动机械臂 机器人皮肤
📋 核心要点
- 现有移动机械臂控制方法计算成本高，难以实现低功耗、实时的触觉反馈控制。
- 提出一种异构联想序列记忆模型，将关节状态和触觉信息绑定，实现低成本的动作决策。
- 在丰田人形辅助机器人上验证了该系统，实现了伪顺应性控制和多关节抓取序列。
📝 摘要（中文）
本文提出了一种用于移动机械臂的异构联想序列记忆系统，该系统学习机器人关节状态和触觉观测之间的紧凑型神经形态绑定，以低计算和内存成本产生逐步动作决策。该方法通过群体位置编码对关节角度进行编码，并使用Izhikevich神经元模型将皮肤测量的力转换为脉冲率特征；两种信号都被转换为双极二进制向量，并通过元素方式绑定以创建存储在大容量序列记忆中的关联。为了提高二进制空间中的可分离性并注入来自触摸的几何信息，我们引入了3D旋转位置嵌入，该嵌入根据感应到的力方向旋转子空间，从而通过对时间偏移的动作模式进行softmax加权召回来实现模糊检索。在配备机器人皮肤的丰田人形辅助机器人上，异构联想序列记忆系统实现了一个伪顺应性控制器，该控制器在触摸下以与施加力的大小相关的方向和速度移动连杆，并通过持续的触觉输入检索多关节抓取序列。该系统设置快速，从同步的状态和观测流中进行训练，并表现出一定程度的泛化能力，同时保持经济性。结果表明，通过联想召回执行单关节和全臂行为，并提出了对模仿学习、运动规划和多模态集成的扩展。
🔬 方法详解
问题定义：现有移动机械臂控制方法通常依赖于复杂的模型和大量的计算资源，难以在资源受限的移动平台上实现实时的触觉反馈控制。特别是在需要根据触觉信息进行精细操作的场景下，传统方法的计算开销和延迟会严重影响控制性能。因此，需要一种低计算成本、高效率的控制方法，能够快速响应触觉输入并做出相应的动作决策。
核心思路：本文的核心思路是利用异构联想记忆模型，将机器人关节状态和触觉观测信息进行绑定，从而实现基于触觉输入的动作序列生成。通过将关节角度和触觉力转换为神经形态信号，并利用二进制向量进行编码，可以大大降低计算复杂度。同时，引入3D旋转位置嵌入，可以提高二进制空间中的可分离性，并注入来自触觉的几何信息，从而实现更精确的动作控制。
技术框架：该系统的整体框架包括以下几个主要模块：1) 关节角度编码：使用群体位置编码将关节角度转换为二进制向量。2) 触觉信息编码：使用Izhikevich神经元模型将触觉力转换为脉冲率特征，并转换为二进制向量。3) 异构联想记忆：将关节状态和触觉观测的二进制向量进行元素方式绑定，存储在大容量序列记忆中。4) 动作召回：根据当前的触觉输入，通过softmax加权召回，从序列记忆中检索出相应的动作序列。
关键创新：该方法最重要的技术创新点在于引入了3D旋转位置嵌入，该嵌入根据感应到的力方向旋转子空间，从而提高了二进制空间中的可分离性，并注入了来自触觉的几何信息。这使得系统能够更精确地根据触觉输入进行动作控制，并实现模糊检索。与现有方法相比，该方法具有更低的计算成本和更高的效率。
关键设计：在关节角度编码方面，使用了群体位置编码，通过多个神经元的激活模式来表示关节角度。在触觉信息编码方面，使用了Izhikevich神经元模型，该模型能够模拟生物神经元的动态特性，并将触觉力转换为脉冲率特征。在动作召回方面，使用了softmax加权召回，通过计算当前触觉输入与序列记忆中存储的触觉信息的相似度，来确定相应的动作序列。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该系统能够在丰田人形辅助机器人上实现伪顺应性控制和多关节抓取序列。通过触觉输入，机器人能够以与施加力的大小相关的方向和速度移动连杆，并能够完成复杂的抓取动作。该系统设置快速，训练数据量小，并表现出一定的泛化能力。这些结果验证了该方法的有效性和实用性。
🎯 应用场景
该研究成果可应用于各种需要触觉反馈的机器人控制场景，例如：精细操作、装配、医疗机器人等。通过将触觉信息与动作序列进行绑定，可以实现更安全、更高效的人机协作。此外，该方法还可以扩展到模仿学习、运动规划和多模态集成等领域，为机器人智能提供更强大的支持。
📄 摘要（原文）
This paper presents a hetero-associative sequential memory system for mobile manipulators that learns compact, neuromorphic bindings between robot joint states and tactile observations to produce step-wise action decisions with low compute and memory cost. The method encodes joint angles via population place coding and converts skin-measured forces into spike-rate features using an Izhikevich neuron model; both signals are transformed into bipolar binary vectors and bound element-wise to create associations stored in a large-capacity sequential memory. To improve separability in binary space and inject geometry from touch, we introduce 3D rotary positional embeddings that rotate subspaces as a function of sensed force direction, enabling fuzzy retrieval through a softmax weighted recall over temporally shifted action patterns. On a Toyota Human Support Robot covered by robot skin, the hetero-associative sequential memory system realizes a pseudocompliance controller that moves the link under touch in the direction and with speed correlating to the amplitude of applied force, and it retrieves multi-joint grasp sequences by continuing tactile input. The system sets up quickly, trains from synchronized streams of states and observations, and exhibits a degree of generalization while remaining economical. Results demonstrate single-joint and full-arm behaviors executed via associative recall, and suggest extensions to imitation learning, motion planning, and multi-modal integration.