Learning to Accumulate Knowledge with Mutual Information

📄 arXiv: 2610.10042v1 📥 PDF

作者: Yuyang Zhao, Lizi Liao, Leyang Shen, Xiaoyan Zhao, Yang Zhang, Fuli Feng, Xiangnan He

分类: cs.AI

发布日期: 2026-10-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出知识编织者以解决知识积累效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识积累 强化学习 互信息 语言模型 知识管理 任务成功率 信息提取

📋 核心要点

  1. 现有方法在知识积累方面存在冗余重叠和无效信息的问题，导致知识库效率低下。
  2. 论文提出知识编织者，通过强化学习训练语言模型策划可重用知识，结合互信息反馈和成功奖励。
  3. 实验结果显示，知识编织者在多个任务上显著提高了成功率，超越了传统方法和人类编写的知识库。

📝 摘要（中文）

大型语言模型（LLM）代理可以通过重用过去交互中提炼的知识来提高性能。然而，将新经验整理成一个随着增长而变得更有用的知识库仍然具有挑战性。有效的知识积累应限制条目之间的冗余重叠，并确保新知识在现有知识的基础上有所贡献。为此，本文提出了知识编织者（Knowledge Weaver），这是一个强化学习框架，旨在训练语言模型从代理轨迹中策划可重用的知识。我们结合了基于标记的互信息反馈与边际成功奖励，以指导知识积累。实验结果表明，知识编织者在ALFWorld和WebShop上分别达到了54.0%和42.0%的平均成功率，超越了现有方法GRPO。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在知识积累过程中存在的冗余信息和无效条目问题。现有方法如GRPO在训练过程中可能强化重复知识的获取，导致知识库的效率低下。

核心思路：知识编织者通过强化学习框架，结合互信息反馈与成功奖励，鼓励模型保留独特信息并生成有助于任务成功的知识条目。这样的设计旨在提高知识库的有效性和实用性。

技术框架：知识编织者的整体架构包括知识策划模块和反馈机制。知识策划模块负责从代理的交互轨迹中提取和整理知识，而反馈机制则通过互信息和成功奖励来指导知识的选择和积累。

关键创新：该研究的核心创新在于引入了基于互信息的反馈机制，使得知识积累不仅关注成功率，还关注信息的独特性，从而有效减少冗余。

关键设计：在技术细节上，论文设置了特定的损失函数以平衡互信息和成功奖励的影响，同时设计了适应性参数以优化知识条目的选择过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

知识编织者在ALFWorld和WebShop任务中分别达到了54.0%和42.0%的平均成功率，较GRPO提升了16.9和18.7个百分点。此外，其知识库在整体成功率上超越了多种基准，包括人类编写的知识库，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和教育领域等，能够通过高效的知识积累提升系统的智能化水平和用户体验。未来，知识编织者的框架可能会被广泛应用于各种需要知识管理和积累的人工智能系统中。

📄 摘要（原文）

Large language model (LLM) agents can improve their performance by reusing knowledge distilled from past interactions. However, curating new experiences into a knowledge bank that becomes more useful as it grows remains challenging. Effective knowledge accumulation should limit redundant overlap among entries and ensure that new knowledge contributes beyond what the bank already provides. Yet training a curator with Group Relative Policy Optimization (GRPO) on standalone task success can reinforce general guidance even when it duplicates existing knowledge. Therefore, we propose Knowledge Weaver, a reinforcement learning framework that trains a language model to curate reusable knowledge from agent trajectories. We couple feedback inspired by token-wise mutual information (MI) with marginal success rewards to guide knowledge accumulation. Together, these signals encourage the curator to preserve distinct information from experience and produce entries that improve task success when added to existing knowledge. Standalone success rewards also favor entries that are useful on their own. On ALFWorld and WebShop, Knowledge Weaver achieves mean success rates of 54.0\% and 42.0\% with k=10 retrieved entries, exceeding GRPO by 16.9 and 18.7 percentage points, respectively. Its knowledge banks also outperform the evaluated prompt-based and established banks, including human-written banks, in overall ALFWorld success rate and WebShop score with the executor frozen. Our codebase is available at https://github.com/LaoKuiZe/Knowledge-Weaver.