Linear Recurrent Memory Suffices to Distil a World-Model Policy for Robot Air Hockey
作者: F. Olivia Fan, Oliver Obst
分类: cs.RO, cs.LG
发布日期: 2026-09-30
备注: 10 pages, 4 figures
💡 一句话要点
提出线性递归记忆以解决机器人空气曲棍球中的控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 线性递归 记忆依赖控制 机器人技术 空气曲棍球 策略蒸馏 非线性动态 计算效率
📋 核心要点
- 现有方法在处理暂时失去跟踪的情况下，往往依赖复杂的非线性递归动态，导致计算开销大且效率低下。
- 本研究提出了一种基于线性递归记忆的紧凑策略，通过蒸馏教师模型，简化了控制策略的复杂性。
- 实验结果表明，线性递归模型在多次实验中表现与GRU相当，且计算需求显著降低，展示了线性机制的有效性。
📝 摘要（中文）
本研究探讨了在暂时失去冰球跟踪情况下，记忆依赖控制是否需要非线性递归动态。通过对比DreamerV3教师模型与无记忆策略，发现教师模型在跟踪丢失时表现优越，而重置教师的递归状态则显著降低性能，表明任务确实需要记忆。研究将教师模型蒸馏为紧凑的递归策略，采用64维状态，结合对角线性递归和可选的秩-k非线性创新，同时保持非线性观察编码器和动作头。结果显示，纯线性递归模型在跟踪丢失范围内的表现与GRU基线和教师模型相当，且非线性创新秩的增加未带来显著益处。这些结论限于所考虑的模拟任务、教师、状态维度和黑屏时间。
🔬 方法详解
问题定义：本研究旨在解决在机器人空气曲棍球中，暂时失去冰球跟踪时的控制问题。现有方法通常依赖复杂的非线性递归动态，导致性能受限和计算资源浪费。
核心思路：论文提出通过蒸馏教师模型，利用线性递归记忆来简化控制策略。通过保持非线性观察编码器和动作头，结合线性递归机制，旨在实现高效的记忆依赖控制。
技术框架：整体架构包括教师模型的训练、状态蒸馏和策略优化。首先训练DreamerV3教师模型，然后将其知识蒸馏为线性递归策略，最后在不同的跟踪丢失条件下进行评估。
关键创新：最重要的技术创新在于提出了一个仅依赖线性递归的控制策略，证明了在特定任务中，非线性动态并非必需。这一发现挑战了传统观点，强调了简单线性机制的有效性。
关键设计：模型采用64维状态表示，结合对角线性递归和可选的秩-k非线性创新。实验中，线性模型的参数数量和计算需求显著低于GRU，同时保持了相似的性能表现。实验结果在新的测试集上验证，确保了结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，线性递归模型在多次实验中与GRU基线和教师模型的表现相当，尤其在跟踪丢失的情况下，线性模型的表现未受显著影响。相比之下，非线性创新的增加未能带来性能提升，表明线性机制的有效性和高效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、智能玩具和自动化系统等。通过简化控制策略，能够降低计算资源需求，提高实时响应能力，进而推动智能机器人在复杂环境中的应用。未来，研究成果可能影响更广泛的记忆依赖控制任务，促进相关技术的发展。
📄 摘要（原文）
Does memory-dependent control need nonlinear recurrent dynamics? We study simulated air-hockey defence under temporary loss of puck tracking. A DreamerV3 teacher outperforms a memoryless policy under tracking loss, while resetting the teacher's recurrent state sharply reduces performance, which demonstrates that the task requires memory. We distil this teacher into compact recurrent policies with a 64 dimensional state, with a combination of a diagonal linear recurrence and an optional rank-$k$ nonlinear innovation while retaining nonlinear observation encoders and action heads. Across five matched seeds, the purely linear recurrent model ($k=0$) matches both the GRU baseline and the teacher throughout the tested range of tracking loss. Increasing nonlinear innovation rank providing no measured benefits. This result is obtained on a fresh test split, which will be only opened after all models and analyses are frozen. The linear model requires fewer recurrent parameters and less computation than GRU, but performs comparably. These results suggest that, for this memory dependent control task, nonlinear representation learning around a simple linear memory mechanism can be sufficient, and that nonlinear recurrent dynamics are not necessarily required. These conclusions are limited to the simulated task, teacher, state dimension, and blackout horizon considered here, and to policies whose observation encoder and action head remain nonlinear.