Agentic Knowledgeable Self-awareness
作者: Shuofei Qiao, Zhisong Qiu, Baochang Ren, Xiaobin Wang, Xiangyuan Ru, Ningyu Zhang, Xiang Chen, Yong Jiang, Pengjun Xie, Fei Huang, Huajun Chen
分类: cs.CL, cs.AI, cs.CV, cs.LG, cs.MA
发布日期: 2025-04-04 (更新: 2025-05-29)
备注: ACL 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出KnowSelf，赋予LLM智能体情境自感知能力，提升规划效果。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 智能体规划 情境自感知 知识利用 自主学习
📋 核心要点
- 现有智能体规划方法盲目注入知识，忽略了人类决策中重要的情境自感知能力。
- KnowSelf通过启发式情境判断标准标记token，使智能体具备自主知识利用能力。
- 实验表明，KnowSelf在多种任务和模型上超越基线，且外部知识使用量极少。
📝 摘要（中文）
大型语言模型（LLMs）在各种智能体规划任务中取得了显著的性能。然而，传统的智能体规划方法采用“大水漫灌”的方式，不加区分地将黄金轨迹、外部反馈和领域知识注入到智能体模型中。这种做法忽略了人类决策过程中情境自感知这一基本认知原则——即动态评估情境需求并在决策过程中策略性地利用资源的能力。为了解决这一问题，我们提出了智能体知识自感知（agentic knowledgeable self-awareness）的概念，这是一种新颖的范式，使基于LLM的智能体能够自主地调节知识利用。具体来说，我们提出了一种以数据为中心的方法KnowSelf，它使智能体像人类一样具有知识自感知能力。我们设计了一种启发式情境判断标准，用于在智能体自主探索的轨迹上标记特殊token，以收集训练数据。通过两阶段训练过程，智能体模型可以通过生成特定的特殊token在不同情境之间切换，从而以最小的成本实现最佳的规划效果。实验表明，KnowSelf在不同的任务和模型上优于各种强大的基线，并且仅使用了最少的外部知识。代码可在https://github.com/zjunlp/KnowSelf获取。
🔬 方法详解
问题定义：现有基于LLM的智能体规划方法，如ReAct等，通常采用“大水漫灌”的方式，将所有可用的知识和反馈无差别地注入模型。这种方式忽略了人类在决策时会根据情境动态调整知识利用策略的认知过程。因此，如何让LLM智能体具备情境自感知能力，从而更有效地利用知识，是本文要解决的核心问题。
核心思路：本文的核心思路是赋予LLM智能体“知识自感知”能力，使其能够像人类一样，根据当前情境动态地选择和利用知识。具体而言，通过引入特殊token来表示不同的情境，并训练智能体在不同情境下生成相应的token，从而实现知识利用的自主调节。这种设计模仿了人类根据情境调整认知策略的机制。
技术框架：KnowSelf包含两个主要阶段：数据收集和模型训练。在数据收集阶段，智能体首先进行自主探索，生成轨迹数据。然后，利用启发式情境判断标准，在轨迹数据上标记特殊token，这些token代表不同的情境。在模型训练阶段，采用两阶段训练策略。首先，预训练智能体生成情境token的能力。然后，微调智能体，使其能够根据情境token选择合适的知识并进行规划。
关键创新：KnowSelf最重要的创新点在于提出了“智能体知识自感知”的概念，并设计了一种数据驱动的方法来实现这一概念。与现有方法相比，KnowSelf不是简单地注入知识，而是让智能体自主地学习如何在不同的情境下利用知识。这种方法更符合人类的认知过程，也更具有灵活性和适应性。
关键设计：启发式情境判断标准是KnowSelf的关键设计之一。该标准用于判断当前情境是否需要特定的知识，并据此标记特殊token。具体的判断标准可能包括任务的难度、智能体的状态、环境的变化等。此外，两阶段训练策略也是一个重要的设计。第一阶段预训练保证了智能体能够生成情境token，第二阶段微调则使智能体能够根据情境token选择合适的知识。
🖼️ 关键图片
📊 实验亮点
实验结果表明，KnowSelf在多个任务上显著优于现有基线方法。例如，在XXX任务上，KnowSelf的性能提升了XX%。更重要的是，KnowSelf在取得更好性能的同时，仅使用了最少的外部知识，这表明其具有更高的知识利用效率和泛化能力。
🎯 应用场景
KnowSelf具有广泛的应用前景，可应用于游戏AI、机器人控制、智能客服等领域。通过赋予智能体情境自感知能力，可以显著提升其在复杂环境下的决策能力和适应性。未来，该技术有望应用于自动驾驶、智能制造等更广泛的领域，实现更智能、更高效的自动化。
📄 摘要（原文）
Large Language Models (LLMs) have achieved considerable performance across various agentic planning tasks. However, traditional agent planning approaches adopt a "flood irrigation" methodology that indiscriminately injects gold trajectories, external feedback, and domain knowledge into agent models. This practice overlooks the fundamental human cognitive principle of situational self-awareness during decision-making-the ability to dynamically assess situational demands and strategically employ resources during decision-making. We propose agentic knowledgeable self-awareness to address this gap, a novel paradigm enabling LLM-based agents to autonomously regulate knowledge utilization. Specifically, we propose KnowSelf, a data-centric approach that applies agents with knowledgeable self-awareness like humans. Concretely, we devise a heuristic situation judgement criterion to mark special tokens on the agent's self-explored trajectories for collecting training data. Through a two-stage training process, the agent model can switch between different situations by generating specific special tokens, achieving optimal planning effects with minimal costs. Our experiments demonstrate that KnowSelf can outperform various strong baselines on different tasks and models with minimal use of external knowledge. Code is available at https://github.com/zjunlp/KnowSelf.