Exploring Weaknesses in Function Call Models via Reinforcement Learning: An Adversarial Data Augmentation Approach

📄 arXiv: 2601.19122v1 📥 PDF

作者: Weiran Guo, Bing Bo, Shaoxiang Wu, Jingsheng Yang

分类: cs.AI

发布日期: 2026-01-27

💡 一句话要点

提出基于强化学习的对抗数据增强方法，提升函数调用大语言模型的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 函数调用 大型语言模型 强化学习 对抗数据增强 鲁棒性 零和博弈 对抗训练

📋 核心要点

  1. 现有函数调用模型依赖固定数据，泛化性和鲁棒性不足，难以应对复杂场景。
  2. 利用强化学习训练查询模型，生成对抗样本，针对性地暴露并解决函数调用模型的弱点。
  3. 通过查询模型与函数调用模型的零和博弈，迭代提升模型性能，增强鲁棒性。

📝 摘要（中文）

函数调用能力对于大型语言模型（LLMs）至关重要，使其能够更有效地与外部工具和API交互。现有的提升LLMs函数调用能力的方法依赖于手动标注或模型自动生成的数据，并使用这些数据来微调LLMs。然而，这些方法通常缺乏针对性设计，并受到固定模式和数据分布的限制，从而限制了其在增强函数调用LLMs的泛化性和鲁棒性方面的有效性。为了解决这个限制，我们提出了一种新颖的对抗数据增强方法，该方法采用强化学习来系统地识别和针对函数调用LLMs的弱点。我们的训练框架引入了一个使用强化学习（RL）训练的查询模型，以生成专门设计用于挑战函数调用（FC）模型的对抗性查询。这种方法采用零和博弈公式，其中查询模型和FC模型进行迭代交替训练。总的来说，我们的方法推进了更强大的FC模型的开发，并提供了一种系统的方法来识别和纠正LLMs与外部工具交互的能力中的弱点。

🔬 方法详解

问题定义：现有提升LLM函数调用能力的方法，主要依赖人工标注或模型生成的数据进行微调。这些方法存在两个主要痛点：一是缺乏针对性，难以覆盖所有可能出错的场景；二是受限于固定数据分布，模型容易过拟合，泛化能力不足。因此，如何系统性地识别并解决LLM函数调用能力的弱点，是本文要解决的核心问题。

核心思路：本文的核心思路是利用对抗数据增强，通过生成专门用于攻击函数调用模型的对抗样本，来暴露模型的弱点。具体而言，训练一个查询模型，使其能够生成能够使函数调用模型出错的query。通过这种方式，可以针对性地发现并解决模型在特定场景下的不足。

技术框架：整体框架是一个零和博弈过程。包含两个主要模块：一是查询模型（Query Model），负责生成对抗性query；二是函数调用模型（FC Model），负责处理query并进行函数调用。训练过程采用迭代交替训练的方式：首先，固定FC模型，训练查询模型，使其生成的query能够最大程度地降低FC模型的性能；然后，固定查询模型，利用生成的对抗样本微调FC模型，提高其鲁棒性。这两个过程交替进行，直到FC模型的性能达到稳定。

关键创新：最重要的创新点在于利用强化学习来训练查询模型，使其能够自动生成对抗样本。与传统的数据增强方法相比，这种方法能够更有效地发现并解决模型在特定场景下的弱点。此外，零和博弈的训练方式，使得查询模型和FC模型能够相互促进，共同提升性能。

关键设计：查询模型使用强化学习进行训练，目标是最大化FC模型的损失。具体而言，奖励函数可以设置为FC模型预测错误的概率。查询模型的网络结构可以采用Transformer等常用的序列生成模型。FC模型的训练则采用标准的监督学习方法，利用生成的对抗样本进行微调。对抗样本的生成过程需要仔细设计，以保证其既能够攻击FC模型，又不会过于偏离真实数据分布。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文提出了一种基于强化学习的对抗数据增强方法，通过实验验证了该方法在提升函数调用模型鲁棒性方面的有效性。具体性能数据未知，但论文强调该方法能够系统性地识别并解决模型弱点，从而显著提升模型在复杂场景下的表现。与传统数据增强方法相比，该方法能够更有效地提高模型的泛化能力。

🎯 应用场景

该研究成果可广泛应用于智能助手、自动化运维、智能客服等领域，提升LLM与外部工具交互的可靠性和安全性。通过对抗训练，可以有效提高LLM在复杂和不确定环境下的适应能力，降低因函数调用错误导致的风险。此外，该方法还可以用于评估和改进现有函数调用模型的安全性，防止恶意攻击。

📄 摘要（原文）

Function call capabilities have become crucial for Large Language Models (LLMs), enabling them to interact more effectively with external tools and APIs. Existing methods for improving the function call capabilities of LLMs rely on data obtained either through manual annotation or automated generation by models, and use this data to finetune the LLMs. However, these methods often lack targeted design and are constrained by fixed patterns and data distributions, which limits their effectiveness in enhancing the generalization and robustness of function call LLMs. To address this limitation, we propose a novel adversarial data augmentation method that employs reinforcement learning to systematically identify and target the weaknesses of function call LLMs. Our training framework introduces a query model trained with reinforcement learning (RL) to generate adversarial queries that are specifically designed to challenge function call (FC) models. This approach adopts a zero sum game formulation, where the query model and the FC model engage in iterative alternating training. Overall, our method advances the development of more robust FC models and provides a systematic way to identify and correct weaknesses in the ability of LLMs to interact with external tools.