EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses
作者: Zhixuan Tan, Pengjie Gu, Zhao Li, Yihan Hu, Xu He, Dong Li, Jianye Hao
分类: cs.SE, cs.AI
发布日期: 2026-09-30
💡 一句话要点
提出EngramBench以解决自主体技能演化评估中的识别问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自主体评估 能力抽象 代码生成 技能演化 多任务学习
📋 核心要点
- 现有方法在评估自主体技能演化时存在能力抽象与解决方案泄漏混淆的问题，导致评估结果不准确。
- 论文提出EngramBench基准，强调能力重叠而非解决方案重叠，设计了多样化的学习和迁移任务以测试自主体的能力。
- 实验结果显示，使用EngramBench的自主体在编码时间上减少了超过55%，并有效避免了冗余的上下文膨胀。
📝 摘要（中文）
尽管大型语言模型在孤立的代码生成中取得了显著成功，但真实的软件工程需要持续的推理、复杂的状态管理和跨领域的抽象能力。目前，自主体技能演化的评估面临着关键的可识别性问题，导致真正的能力抽象与简单的解决方案泄漏混淆。为了解决这一问题，本文提出了EngramBench，这是一个严格的、基于能力的基准，遵循能力重叠而非解决方案重叠的严格公理。EngramBench包含30个多样化的学习任务和13个未见的迁移任务，挑战自主体在LLM模拟用户驱动的交互式多小时开发周期中进行导航。通过对48条多小时执行轨迹的广泛评估，结合人类专家验证，揭示了程序记忆的深刻见解。
🔬 方法详解
问题定义：本文旨在解决自主体技能演化评估中的可识别性问题，现有方法常常将能力抽象与简单的代码复制混淆，导致评估结果不准确。
核心思路：EngramBench基于能力重叠的原则设计，确保评估过程中不出现解决方案重叠，从而更准确地测量自主体的真实能力。
技术框架：EngramBench包含30个学习任务和13个迁移任务，构建了一个多小时的交互式开发环境，模拟真实用户的需求和反馈。评估过程通过48条执行轨迹进行，结合人类专家的验证。
关键创新：EngramBench的最大创新在于其严格的能力评估标准，避免了传统方法中的模式匹配问题，强调了深层次的跨领域能力转移。
关键设计：在设计中，任务的多样性和复杂性是关键，确保自主体在不同情境下的能力得到全面评估，同时通过动态反馈机制引导自主体的学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用EngramBench的自主体在编码时间上减少了超过55%，有效避免了冗余的上下文膨胀，展示了其在能力抽象和任务迁移方面的显著提升。与传统方法相比，EngramBench提供了更为准确的能力评估，推动了自主体技能演化的研究进展。
🎯 应用场景
EngramBench的研究成果可广泛应用于自主体的能力评估和软件工程领域，尤其是在需要复杂推理和状态管理的任务中。未来，该基准可能推动自主体在真实世界应用中的表现提升，促进更智能的代码生成和软件开发流程。
📄 摘要（原文）
While large language models have achieved remarkable success in isolated code generation, authentic software engineering requires sustained reasoning, complex state management, and continuous cross-domain abstraction. However, current evaluations of skill evolution in autonomous agents suffer from a critical identifiability problem: they structurally confound genuine capability abstraction with rote solution leakage (i.e., copying highly similar code from historical training data). To resolve this, we introduce EngramBench, a rigorous, capability-grounded benchmark governed by the strict axiom of capability overlap without solution overlap. Comprising 30 diverse learning tasks and 13 unseen transfer tasks, EngramBench challenges agents to navigate interactive, multi-hour development cycles driven by LLM-simulated users. Our extensive evaluation across 48 multi-hour execution trajectories -- corroborated by human-expert validation -- reveals a profound insight into procedural memory. We demonstrate that static skill banks do not magically bypass the "last mile" of exact code implementation, which remains bottlenecked by the base model's inherent reasoning limits. However, they serve as an indispensable execution compass. By navigating agents away from catastrophic, token-heavy trial-and-error, genuine capability abstraction slashes redundant context bloat and reduces overall coding time by over 55%. Ultimately, EngramBench shifts the evaluation paradigm from trivial pattern matching to the verifiable measurement of deep, cross-domain capability transfer.