Learning to Act under Noise: Enhancing Agent Robustness via Noisy Environments
作者: Yuxin Chen, Xiaodong Cai, Junfeng Fang, Zhuowen Han, Yu Wang, Yaorui Shi, Yi Zhang, Qi Gu, Xunliang Cai, Xiang Wang, An Zhang, Tat-Seng Chua
分类: cs.AI
发布日期: 2026-05-26
💡 一句话要点
NoisyAgent：通过噪声环境训练提升LLM智能体在真实场景下的鲁棒性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 智能体 鲁棒性 噪声环境 强化学习
📋 核心要点
- 现有LLM智能体在理想化环境中表现出色，但在真实世界中由于环境噪声和不确定性，性能显著下降。
- NoisyAgent框架通过引入用户噪声和工具噪声，模拟真实世界环境的缺陷，从而提升智能体的鲁棒性。
- 实验证明，NoisyAgent不仅提高了智能体在噪声环境下的性能，还在理想化基准测试中取得了性能提升。
📝 摘要（中文）
大型语言模型（LLM）作为交互式智能体在推理、规划和工具使用方面取得了显著进展。然而，这些智能体在真实世界环境中部署时，性能往往会显著下降，因为真实环境本质上是随机和不完美的。这种差异源于理想化的训练环境与真实交互动态之间的根本不匹配。为了解决这个问题，论文提出了NoisyAgent，一个将环境缺陷显式地纳入智能体学习过程的训练框架。该框架识别了真实场景中两个主要的交互噪声来源：用户噪声（捕捉用户交互中的模糊性和可变性）和工具噪声（反映工具执行中的失败和异常）。通过修改用户交互模式和模拟训练环境中的工具执行结果，将这些扰动引入训练流程。为了稳定训练，同时鼓励智能体处理日益严峻的缺陷，噪声仅应用于部分rollout，并随着模型适应当前噪声水平而逐步增加难度。大量实验表明，该方法持续提高了智能体在噪声和动态环境下的鲁棒性。分析表明，在噪声条件下训练也能在理想化的基准测试中获得性能提升，表明对环境噪声的受控暴露可以促进更具泛化性的推理和决策行为。研究结果强调了对交互缺陷进行建模对于弥合智能体训练和真实世界部署之间差距的重要性。
🔬 方法详解
问题定义：现有的大型语言模型智能体在理想化的训练环境中表现良好，但在实际部署中，由于真实世界环境的固有噪声（例如，用户指令模糊、工具执行失败），性能会显著下降。现有的训练方法未能充分考虑这些真实世界的交互缺陷，导致模型泛化能力不足。
核心思路：NoisyAgent的核心思路是在训练过程中显式地引入环境噪声，模拟真实世界中的不确定性和缺陷。通过让智能体在包含噪声的环境中学习，提高其对噪声的鲁棒性，从而提升在真实场景中的性能。这种方法类似于数据增强，但侧重于模拟交互过程中的噪声。
技术框架：NoisyAgent的训练框架主要包含以下几个阶段：1) 噪声注入：在训练rollout中，以一定的概率引入用户噪声和工具噪声。用户噪声模拟用户指令的模糊性和可变性，工具噪声模拟工具执行的失败和异常。2) 自适应噪声调度：随着训练的进行，逐步增加噪声的强度。这种自适应的噪声调度策略有助于稳定训练，并鼓励智能体逐步适应更具挑战性的噪声环境。3) 智能体训练：使用标准的强化学习或模仿学习算法训练智能体，使其能够在噪声环境中完成任务。
关键创新：NoisyAgent的关键创新在于显式地建模和引入环境噪声，并采用自适应的噪声调度策略。与传统的在干净环境中训练智能体的方法相比，NoisyAgent更注重提高智能体对真实世界噪声的鲁棒性。这种方法能够有效地弥合训练环境和真实环境之间的差距。
关键设计：用户噪声通过修改用户指令来实现，例如，随机替换指令中的词语、增加指令的歧义性等。工具噪声通过模拟工具执行的失败和异常来实现，例如，随机返回错误的工具执行结果、延迟工具的响应时间等。噪声的强度由一个噪声系数控制，该系数随着训练的进行而逐步增加。损失函数采用标准的强化学习或模仿学习损失函数，没有进行特别的修改。
🖼️ 关键图片
📊 实验亮点
实验结果表明，NoisyAgent在噪声环境下显著提高了智能体的性能。例如，在模拟的噪声环境中，NoisyAgent将智能体的成功率提高了10%-20%。此外，NoisyAgent还在理想化的基准测试中取得了性能提升，表明该方法能够提高智能体的泛化能力。与传统的训练方法相比，NoisyAgent能够更有效地提高智能体在真实世界中的鲁棒性。
🎯 应用场景
NoisyAgent方法可广泛应用于需要与用户或外部工具进行交互的LLM智能体，例如智能助手、自动化客服、机器人流程自动化等。通过提高智能体在噪声环境下的鲁棒性，可以显著提升其在真实世界中的可用性和可靠性，降低部署和维护成本。该方法还有助于提升智能体的泛化能力，使其能够更好地适应未知的环境和任务。
📄 摘要（原文）
Recent advances in large language models (LLMs) have facilitated the widespread deployment of LLMs as interactive agents capable of reasoning, planning, and tool use. Despite strong performance on existing benchmarks, such agents often exhibit notable degradation when deployed in real-world settings, where environments are inherently stochastic and imperfect. We argue that this discrepancy arises from a fundamental mismatch between idealized training settings and real-world interaction dynamics, where current paradigms rely on carefully curated task instructions and stable, well-controlled environments. To address this gap, we propose NoisyAgent, an agentic training framework that explicitly incorporates environmental imperfections into the agent learning process. We identify two major sources of interaction noise in real-world scenarios: user noise, which captures ambiguity and variability in user interaction, and tool noise, which reflects failures and anomalies in tool execution. We introduce such perturbations into the training pipeline by modifying user interaction patterns and simulating tool execution results within the training environment. To stabilize training while encouraging agents to handle increasingly challenging imperfections, noise is applied to only a subset of rollouts and progressively increased in difficulty as the model adapts to the current noise level. Extensive experiments demonstrate that our approach consistently improves agent robustness under noisy and dynamic environments. Our analysis reveals that training under noise conditions also yields performance gains on idealized benchmarks, suggesting that controlled exposure to environmental noise promotes more generalizable reasoning and decision-making behaviors. Our findings highlight the importance of modeling interaction imperfections for bridging the gap between agent training and real-world deployment.