Minimal Recurrent Behavioral Memory for Imitation under Partial Observability
作者: Xianyao Li, Fang Xu, Rui Min, Ruitong Tian, Jing Du
分类: cs.LG, cs.IT, cs.RO
发布日期: 2026-09-22
备注: 46 pages, 10 figures. Code: https://github.com/XianyaoLi/DIACRITIC
💡 一句话要点
提出最小递归行为记忆以解决部分可观测下模仿问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 行为记忆 模仿学习 部分可观测性 熵最小化 智能代理 机器人技术 动态环境
📋 核心要点
- 核心问题：现有方法在部分可观测情况下难以有效重现专家行为，尤其是在记忆需求和信息传递方面存在挑战。
- 方法要点：提出了一种基于兼容性关系的最小递归行为记忆模型，通过熵最小化来优化记忆使用效率。
- 实验或效果：在多种任务中，编码速率保持在接近理论要求的水平，且通过监督学习显著提升了模型的表现。
📝 摘要（中文）
本文探讨在部分可观测情况下，重现特定专家所需的最小递归记忆量。瞬时需求为专家行为商的条件熵，但递归还需保持未来观察无法恢复的区别。通过兼容性关系来表征这种最小递归行为记忆，转移性下其类达到确切最小值，而一般情况下则是对闭合兼容状态分配的熵最小化。实验结果表明，在多种操作任务中，学习的编码速率在隐藏模式增至512时仍接近零和两位的要求，尽管在等待期间瞬时需求为零，预期记忆遵循2到1到0的需求模式。
🔬 方法详解
问题定义：本文旨在解决在部分可观测环境中，重现特定专家行为所需的最小递归记忆量。现有方法在处理记忆需求与信息传递时存在不足，难以有效捕捉未来观察无法恢复的行为特征。
核心思路：论文提出了一种基于兼容性关系的模型，通过定义条件熵来量化记忆需求，并通过熵最小化方法优化记忆使用。这种设计旨在在保持行为区分性的同时，降低记忆的冗余性。
技术框架：整体架构包括行为记忆的建模、兼容性关系的定义、熵最小化的实现以及实验验证。主要模块包括行为商的条件熵计算、状态分配的兼容性分析和编码速率的评估。
关键创新：最重要的技术创新在于通过兼容性关系实现了对最小递归行为记忆的精确表征，与现有方法相比，能够更有效地处理部分可观测性带来的挑战。
关键设计：在参数设置上，采用了基于事件的监督学习策略，损失函数设计为兼容性熵的最小化，网络结构则结合了递归神经网络以增强记忆能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在多种操作任务中，学习的编码速率在隐藏模式增至512时仍接近零和两位的要求。此外，预期记忆的需求模式从2到1到0的变化，表明模型在动态环境中的适应性显著提升。通过监督学习，模型的闭环成功率从0.08提升至0.57，表现出显著的改进。
🎯 应用场景
该研究的潜在应用领域包括机器人模仿学习、智能代理行为建模以及人机交互系统。通过优化记忆使用，该方法能够提高智能系统在复杂环境中的适应能力和表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
What is the least recurrent memory needed to reproduce a specified expert under partial observability? The instantaneous requirement is the conditional entropy of the expert's behavioral quotient, but recurrence must also preserve distinctions that future observations will not restore before use. We characterize this minimal recurrent behavioral memory by a compatibility relation: under transitivity its classes attain the exact minimum, while the general case is an entropy minimization over closed compatible state assignments, with exact certificates on finite instances. A sole-carrier measurement protocol separates behavioral sufficiency, excess code rate, and information carried by observations or other memory paths; experimental bit requirements refer to the induced symbolic behavioral model under the stated occupancy. Across manipulation tasks, learned code rates remain near zero- and two-bit requirements as hidden modes grow to $512$, and anticipatory memory follows a $2\to1\to0$ requirement despite zero instantaneous demand during waiting. Learning this representation remains difficult: event-agnostic future-behavior supervision yields $36/40$ sufficient seeds with one frozen configuration and improves the longest-horizon pixel setting from $0/8$ to $6/8$ sufficient held-out seeds (closed-loop success from $0.08$ to $0.57$). On unmodified community benchmarks, the protocol certifies delay-independent requirements, which sufficient codes match at mid-delay. The supervision aids commitment but can induce predictive surplus; annealing it lets imitation and rate training reduce that surplus, separating the information-theoretic target from the ability to learn it.