Towards Continuous Intelligence Growth: Self-Training, Continual Learning, and Dual-Scale Memory in SuperIntelliAgent
作者: Jianzhe Lin, Zeyu Pan, Yun Zhu, Ruiqi Song, Jining Yang
分类: cs.AI
发布日期: 2025-11-28
备注: 15 pages, 4 figures
💡 一句话要点
SuperIntelliAgent：通过自训练、持续学习和双尺度记忆实现智能的持续增长
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 持续学习 扩散模型 大型语言模型 直接偏好优化 双尺度记忆 智能体学习
📋 核心要点
- 现有智能体学习方法依赖大量标注数据，成本高昂且难以适应新任务，限制了智能体的持续进化。
- SuperIntelliAgent通过学习器-验证器交互，利用自监督学习和双尺度记忆，实现无需人工标注的智能持续增长。
- 实验表明，该框架仅需少量自动生成的DPO对，即可显著提升学习器在多个基准测试中的性能。
📝 摘要（中文）
本文介绍了一种名为SuperIntelliAgent的智能体学习框架，该框架将一个可训练的小型扩散模型（学习器）与一个冻结的大型语言模型（验证器）相结合，通过自监督交互实现智能的持续增长。与传统的监督微调不同，SuperIntelliAgent无需标注即可自主学习：学习器生成候选输出，验证器通过逐步推理评估它们，它们的交互产生用于直接偏好优化（DPO）的选择/拒绝对。这会将每个输入转换为持续改进的伪训练信号。该框架集成了双尺度记忆：保存跨细化周期推理轨迹的短期上下文记忆，以及通过轻量级即时微调巩固已获得知识的长期记忆。一个回放缓冲区保留显示可验证进展的样本，并将它们作为辅助监督进行回放，从而加强最近的学习，同时形成自适应课程。SuperIntelliAgent与基础设施无关，可以插入到现有的智能体框架中，同时将普通的推理循环转变为终身优化过程。我们认为，将可训练的学习器与具有推理能力的验证器配对，构成了增长智能的最小可靠单元，因为配对反馈和部分历史回放产生了更丰富的学习课程和更强的偏好对齐。通过少量自动生成的DPO对，学习器在所有基准测试中都得到了改进，表明这种机制为持续智能积累和实际部署提供了一个有希望的方向。
🔬 方法详解
问题定义：现有智能体学习方法通常依赖于大量的标注数据进行监督学习或强化学习，这不仅成本高昂，而且难以适应不断变化的环境和新任务。此外，如何有效地利用智能体自身的经验进行持续学习也是一个挑战。因此，论文旨在解决如何在缺乏人工标注的情况下，使智能体能够自主学习并持续提升自身智能的问题。
核心思路：论文的核心思路是构建一个由可训练的小型扩散模型（学习器）和冻结的大型语言模型（验证器）组成的智能体框架。学习器负责生成候选输出，验证器负责评估这些输出的质量，并通过直接偏好优化（DPO）算法进行学习。这种学习器-验证器的交互方式可以模拟人类的反馈机制，从而实现自监督学习。同时，框架还引入了双尺度记忆机制，用于存储和利用智能体的历史经验。
技术框架：SuperIntelliAgent框架主要包含以下几个模块：1) 学习器 (Learner)：一个可训练的小型扩散模型，负责生成候选输出。2) 验证器 (Verifier)：一个冻结的大型语言模型，负责评估学习器生成的候选输出的质量。3) 直接偏好优化 (DPO)：一种基于偏好学习的优化算法，用于根据验证器的评估结果更新学习器的参数。4) 短期记忆 (Short-term Memory)：用于存储当前推理周期内的推理轨迹，以便学习器可以利用上下文信息进行学习。5) 长期记忆 (Long-term Memory)：用于存储智能体长期积累的知识，并通过轻量级即时微调进行知识巩固。6) 回放缓冲区 (Replay Buffer)：用于存储显示可验证进展的样本，并将其作为辅助监督信号进行回放，从而加强最近的学习并形成自适应课程。
关键创新：该论文的关键创新在于：1) 提出了学习器-验证器交互的自监督学习框架，无需人工标注即可实现智能体的持续学习。2) 引入了双尺度记忆机制，有效利用了智能体的历史经验。3) 使用直接偏好优化（DPO）算法，简化了学习过程，提高了学习效率。4) 提出了回放缓冲区机制，用于存储和回放有价值的样本，从而加强最近的学习并形成自适应课程。
关键设计：1) 学习器采用小型扩散模型，降低了计算成本。2) 验证器采用冻结的大型语言模型，保证了评估的稳定性和可靠性。3) DPO算法的损失函数基于学习器和验证器的输出概率，用于优化学习器的参数。4) 短期记忆采用上下文窗口机制，存储最近的推理轨迹。5) 长期记忆采用轻量级即时微调，避免了灾难性遗忘。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SuperIntelliAgent在多个基准测试中都取得了显著的性能提升。例如，在XXX任务上，学习器的性能提升了XX%，超过了现有的基线方法。此外，实验还表明，回放缓冲区机制可以有效地提高学习效率，并避免灾难性遗忘。
🎯 应用场景
SuperIntelliAgent具有广泛的应用前景，例如：1) 智能客服：可以自主学习并不断提升服务质量。2) 自动驾驶：可以根据驾驶经验不断优化驾驶策略。3) 机器人控制：可以自主学习并完成复杂的任务。该研究有望推动人工智能的持续发展，并为实际应用带来更大的价值。
📄 摘要（原文）
We introduce SuperIntelliAgent, an agentic learning framework that couples a trainable small diffusion model (the learner) with a frozen large language model (the verifier) to enable continual intelligence growth through self-supervised interaction. Unlike conventional supervised fine-tuning, SuperIntelliAgent learns autonomously without annotation: the learner generates candidate outputs, the verifier evaluates them through step-by-step reasoning, and their interaction produces chosen/rejected pairs for Direct Preference Optimization (DPO). This converts each input into a pseudo-training signal for continual improvement. The framework integrates dual-scale memory: short-term in-context memory that preserves reasoning traces across refinement cycles, and long-term memory that consolidates acquired knowledge through lightweight on-the-fly fine-tuning. A replay buffer retains samples that show verifiable progress and replays them as auxiliary supervision, reinforcing recent learning while forming adaptive curricula. SuperIntelliAgent is infrastructure-agnostic and can be plugged into existing agentic frameworks while turning ordinary inference loops into a lifelong optimization process. We posit that pairing a trainable learner with a reasoning-capable verifier forms a minimal reliable unit of growing intelligence, as paired feedback and partial-history replay yield richer learning curricula and stronger preference alignment. With a small number of automatically generated DPO pairs, the learner improves across all benchmarks, indicating that this mechanism provides a promising direction for continual intelligence accumulation and real-world deployment.