WFM: Wiki Foundation Model for Complex Agentic Reasoning

📄 arXiv: 2609.18182v1 📥 PDF

作者: Junnan Dong, Linhao Luo, Senlei Zhang, Gong Chen, Taian Guo, Yifei Yu, Rong Tao, Tao Guo, Qian-Wen Zhang, Siyu An, Ruizhi Qiao, Xing Sun

分类: cs.AI

发布日期: 2026-09-16

💡 一句话要点

提出WFM以解决复杂代理推理中的知识表示问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识表示 动态推理 长时记忆 Wiki图 注意力机制 分布式训练 智能体推理

📋 核心要点

  1. 现有方法在复杂代理推理中面临稀疏图表示的可读性和语义密度不足的问题，限制了智能体的动态推理能力。
  2. 本文提出了Wiki基础模型WFM，通过Wiki图架构和查询条件下的注意力聚合机制，解决了稀疏图表示的局限性。
  3. 在五个长期代理记忆和多跳推理基准上，WFM展现出显著的性能提升，并实现了10.5倍的训练加速，表明其在大规模商业场景中的应用潜力。

📝 摘要（中文）

现实世界的智能体需要持久的非参数知识以进行动态推理，即长时记忆和增强生成。尽管图形在提供结构化证据方面表现出可靠优势，但稀疏图表示限制了机器可读性和复杂代理工作流所需的语义密度。为此，本文提出了一种新的Wiki基础模型WFM，旨在为可扩展的代理原生表示和检索提供解决方案。具体而言，本文形式化了Wiki图架构，设计了查询条件下的注意力聚合机制，并工程化了NCCL边界交换协议，以提高训练效率和性能。实验结果表明，WFM在五个长期代理记忆和多跳推理基准上表现出色，并在分布式集群上实现了10.5倍的训练加速。

🔬 方法详解

问题定义：本文旨在解决复杂代理推理中知识表示的不足，现有稀疏图表示无法满足动态推理所需的机器可读性和语义密度。

核心思路：WFM通过引入Wiki图架构，将细粒度结构与密集上下文无缝连接，提供了一种新的代理原生知识表示方式，以增强推理能力。

技术框架：WFM的整体架构包括Wiki图架构、查询条件下的注意力聚合机制和NCCL边界交换协议，确保高效的信息传递和计算资源的优化利用。

关键创新：WFM的主要创新在于其Wiki图架构和查询条件下的聚合机制，这与传统稀疏图嵌入方法有本质区别，能够更好地编码密集文本上下文。

关键设计：在设计中，采用了查询条件下的注意力聚合机制以增强信息传递，并通过NCCL协议优化了GPU间的数据交换，减少了CPU序列化和内存复制的开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WFM在五个长期代理记忆和多跳推理基准上表现出色，相较于传统方法，训练速度提升了10.5倍，显示出其在分布式集群中的高效性和可扩展性，为大规模商业应用提供了强有力的支持。

🎯 应用场景

WFM在智能体推理、自然语言处理和知识图谱等领域具有广泛的应用潜力。其高效的知识表示和检索机制可用于增强智能体的决策能力，推动智能系统在复杂环境中的应用。未来，WFM可能在自动化客服、智能助手和知识管理系统中发挥重要作用。

📄 摘要（原文）

Real-world agents fundamentally require persistent non-parametric knowledge for dynamic reasoning, i.e., long-term memory and retrieval-augmented generation. While graphs have shown reliable advantages in providing structured evidence, the sparse graph representations naturally restrict machine readability and semantic density required for complex agentic workflows. Driven by this limitation, the entire industry is witnessing a paradigm shift from traditional sparse graphs to LLM Wiki, an agent-native knowledge representation that couples dense document contexts with markdown files containing multi-layered topological linkages. However, parameterizing such rich semantics is challenging to encode dense textual contexts using traditional sparse graph embeddings. Moreover, learning LLM Wiki with existing graph encoders could overwhelm distributed system overheads that hinder deployment in large-scale commercial scenarios. To this end, we propose a novel paradigm Wiki Foundation Model, i.e., WFM, tailored for scalable, agent-native representation and retrieval. Specifically, (i) we formalize a Wiki Graph schema that seamlessly bridges fine-grained structures with dense contexts, maintaining explicit topologies alongside continuous semantics; (ii) A query-conditioned attentive aggregation is tailored for rich wiki message passing and explicit attention variance regularization; (iii) We engineer an infrastructural NCCL boundary exchange protocol that hoists static partition indices and leverages fixed-shape GPU-to-GPU collectives, bypassing CPU serialization and memory copy overheads. Extensive evaluations across five long-term agent memory and multi-hop reasoning benchmarks demonstrate the remarkable performance of WFM, while achieving a 10.5 times training acceleration on distributed clusters.