Meta Context Engineering via Agentic Skill Evolution

📄 arXiv: 2601.21557v1 📥 PDF

作者: Haoran Ye, Xuning He, Vincent Arak, Haonan Dong, Guojie Song

分类: cs.AI, cs.NE

发布日期: 2026-01-29

备注: 46 pages, 4 figures

💡 一句话要点

提出Meta Context Engineering，通过智能体技能进化优化大语言模型上下文工程。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文工程 元学习 大型语言模型 智能体 技能进化

📋 核心要点

  1. 现有上下文工程方法依赖手动设计，存在结构性偏差，限制了优化空间。
  2. 提出元上下文工程(MCE)，通过双层智能体共同进化CE技能和上下文工件。
  3. 实验表明，MCE在多个领域均优于现有方法，平均提升16.9%，并具有更好的适应性和效率。

📝 摘要（中文）

大型语言模型的运行效力严重依赖于其推理时的上下文。这使得上下文工程(CE)成为优化这些输入的正式学科。当前的CE方法依赖于手动设计的工具，例如刚性的生成-反思工作流程和预定义的上下文模式。它们施加了结构性偏差，并将上下文优化限制在狭窄的、基于直觉的设计空间内。为了解决这个问题，我们引入了元上下文工程(MCE)，这是一个双层框架，通过共同进化CE技能和上下文工件来取代静态CE启发式方法。在MCE迭代中，元层智能体通过智能体交叉来改进工程技能，这是一种对技能历史、它们的执行和评估进行审慎搜索的方法。基础层智能体执行这些技能，从训练rollout中学习，并将上下文优化为灵活的文件和代码。我们在离线和在线设置下的五个不同领域评估了MCE。MCE表现出持续的性能提升，相对于最先进的智能体CE方法，实现了5.6-53.8%的相对改进（平均16.9%），同时在上下文使用和训练中保持了卓越的上下文适应性、可迁移性和效率。

🔬 方法详解

问题定义：现有上下文工程方法（CE）依赖于人工设计的固定流程和预定义模式，例如生成-反思工作流。这些方法存在结构性偏差，将上下文优化限制在基于直觉的狭窄设计空间内，难以充分挖掘上下文的潜力。

核心思路：论文的核心思路是通过元学习的方式，自动地学习和进化上下文工程的技能。具体来说，设计一个双层智能体框架，元层智能体负责优化CE技能，基础层智能体负责执行这些技能并优化上下文。通过这种方式，可以摆脱人工设计的束缚，探索更广阔的上下文优化空间。

技术框架：MCE框架包含两个主要层级：元层智能体和基础层智能体。元层智能体负责通过“智能体交叉”来进化CE技能，即从历史技能、执行结果和评估中学习，并生成新的技能。基础层智能体则负责执行这些技能，从训练数据中学习，并将上下文优化为灵活的文件和代码。整个过程迭代进行，不断提升CE技能和上下文质量。

关键创新：MCE的关键创新在于将上下文工程问题转化为一个元学习问题，通过智能体自动学习和进化CE技能。这与传统的静态CE方法形成了鲜明对比，后者依赖于人工设计的固定流程。MCE能够探索更广阔的上下文优化空间，并根据不同的任务和数据自适应地调整CE策略。

关键设计：元层智能体使用“智能体交叉”算法来进化CE技能，该算法借鉴了遗传算法的思想，通过选择、交叉和变异等操作来生成新的技能。基础层智能体可以使用各种强化学习算法来优化上下文，例如策略梯度方法或Q学习方法。论文中没有明确指出具体的参数设置、损失函数或网络结构，这些细节可能根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MCE在五个不同的领域进行了评估，包括离线和在线设置。实验结果表明，MCE相对于最先进的智能体CE方法，实现了5.6-53.8%的相对改进，平均提升16.9%。此外，MCE在上下文使用效率、可迁移性和适应性方面也表现出优越的性能。这些结果表明，MCE是一种有效的上下文工程方法，能够显著提升大型语言模型的性能。

🎯 应用场景

该研究成果可广泛应用于各种需要利用大型语言模型进行推理和决策的场景，例如智能客服、文本摘要、代码生成、机器翻译等。通过自动优化上下文，可以显著提升语言模型在这些任务上的性能，降低人工干预成本，并提高模型的适应性和鲁棒性。未来，该方法有望进一步扩展到其他类型的AI模型和任务中。

📄 摘要（原文）

The operational efficacy of large language models relies heavily on their inference-time context. This has established Context Engineering (CE) as a formal discipline for optimizing these inputs. Current CE methods rely on manually crafted harnesses, such as rigid generation-reflection workflows and predefined context schemas. They impose structural biases and restrict context optimization to a narrow, intuition-bound design space. To address this, we introduce Meta Context Engineering (MCE), a bi-level framework that supersedes static CE heuristics by co-evolving CE skills and context artifacts. In MCE iterations, a meta-level agent refines engineering skills via agentic crossover, a deliberative search over the history of skills, their executions, and evaluations. A base-level agent executes these skills, learns from training rollouts, and optimizes context as flexible files and code. We evaluate MCE across five disparate domains under offline and online settings. MCE demonstrates consistent performance gains, achieving 5.6--53.8% relative improvement over state-of-the-art agentic CE methods (mean of 16.9%), while maintaining superior context adaptability, transferability, and efficiency in both context usage and training.