When Non-Adversarial Noise Hurts Learning: Benchmarking Skill Self-Evolution in Agents

📄 arXiv: 2610.19910v1 📥 PDF

作者: Tao Yu, Zhongtian Luo, Yuchen Long, Yiheng Lu, Yuxuan Zhou, Yanpei Gong, Siyi Cao, Yuqing Wu, Haopeng Jin, Zhenghao Zhang, Yujia Yang, Jingmin Zhu, Yunyun Hou, Xinming Wang, Hongzhu Yi, Jiachen Liu, Sirui Wang, Nan Duan, Yan Huang, Liang Wang, Tianjin Huang, Yanyan Zou

分类: cs.LG

发布日期: 2026-10-14

备注: 35 pages, 2 figures

💡 一句话要点

提出RSE-Bench以评估非对抗噪声下的技能自我演化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 技能自我演化 非对抗噪声 鲁棒性评估 大型语言模型 经验蒸馏

📋 核心要点

  1. 现有方法主要评估干净学习或技能冻结后的扰动，缺乏对自我演化过程中的鲁棒性理解。
  2. 提出RSE-Bench基准，评估在普通非对抗噪声下的技能自我演化，涵盖多个领域和基准。
  3. 实验结果表明，噪声学习仅保留25.5%-42.1%的干净自我演化所获得的总增益，显示出噪声对学习的显著影响。

📝 摘要（中文）

大型语言模型代理通过提炼经验来提升可重用技能，但经验中的错误可能在学习规则中持续存在并影响后续任务。现有评估主要集中在干净学习或技能冻结后的扰动，导致对自我演化过程中的鲁棒性理解不足。本文提出RSE-Bench，这是第一个评估普通非对抗噪声下技能自我演化的基准，涵盖四个领域和六个基准，控制指令、环境证据、执行记录和结果-记录配对的扰动，保持任务和评分规则的完整性。该协议将学习过程中的噪声与评估时的输入侧噪声分开，测试冻结的技能库在保留任务上的表现。我们还引入了RSEClaw，一个方法无关的框架，支持一致的噪声注入和实际暴露及技能更新的过程诊断。

🔬 方法详解

问题定义：本文旨在解决在技能自我演化过程中，非对抗噪声对学习效果的影响。现有方法未能充分评估这一过程中的鲁棒性，导致对技能演化的理解不足。

核心思路：提出RSE-Bench基准，专注于评估在普通非对抗噪声下的技能自我演化，设计了控制扰动的实验框架，以便更好地理解噪声对学习的影响。

技术框架：RSE-Bench涵盖四个领域和六个基准，采用控制的扰动方法，分别对指令、环境证据、执行记录和结果-记录配对进行干扰，保持任务的完整性。

关键创新：RSE-Bench是首个专注于非对抗噪声下技能自我演化的基准，能够有效区分学习过程中的噪声与评估时的输入侧噪声，提供了新的评估视角。

关键设计：在实验中，使用了三种方法和两个骨干网络，噪声类型的不同导致了25.5%-42.1%的增益损失，尤其是执行记录和结果-记录配对的扰动对学习效果的影响显著。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，噪声学习在不同噪声类型下仅保留25.5%-42.1%的增益，相较于干净自我演化，表明噪声对学习效果的显著影响。尤其是执行记录和结果-记录配对的扰动造成的损失与输入侧噪声相当，突显了这些因素的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能代理的训练与评估，尤其是在需要自我演化和适应性学习的场景中。通过理解非对抗噪声对学习的影响，可以优化模型的训练策略，提高其在复杂环境中的鲁棒性和适应能力。

📄 摘要（原文）

Large language model agents increasingly improve by distilling experience into reusable skills, but errors in that experience can persist in learned rules and affect later tasks. Existing evaluations largely examine clean learning or perturbations encountered after skills are frozen, leaving robustness during self-evolution insufficiently understood. We introduce RSE-Bench, to our knowledge the first benchmark for evaluating skill self-evolution under ordinary, non-adversarial noise. It spans four domains and six benchmarks, with controlled perturbations to instructions, environmental evidence, execution records, and outcome--record pairings that preserve the underlying tasks and native scoring rules. The protocol separates noise during learning from input-side noise at evaluation, testing frozen skill stores on held-out tasks. We also introduce \textsc{RSEClaw}, a method-agnostic framework supporting consistent noise injection and process diagnostics of actual exposure and skill updates. Across three methods and two backbones, noisy learning retains only $25.5\%$--$42.1\%$ of the aggregate gain achieved by clean self-evolution, depending on the noise type. Perturbations confined to execution records and outcome--record pairings cause average losses comparable to input-side noise, despite leaving the original executions and evaluations intact. Diagnostics further identify differences in candidate skill text that coexist with small changes in mean held-out performance.