Action-Space Shaping for LLM Agents: Measuring and Mitigating Tool-Schema Bias
作者: Yinhong Liu, Zhili Tan, Zilin Wang, Zhijiang Guo
分类: cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出可执行变换框架以解决工具模式偏差问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 工具模式 模式偏差 可执行变换 智能助手 自动化工具 人机交互
📋 核心要点
- 现有的LLM在不同工具模式下表现不一致，导致模式偏差问题，影响其在工具使用任务中的可靠性。
- 本文提出了一种可执行变换框架，通过九种操作重写工具模式，以系统地研究和缓解模式偏差。
- 实验结果表明，模式偏差显著，成功率因模式而异，且训练仅能修复出现在训练数据中的模式变体。
📝 摘要（中文）
大型语言模型（LLMs）在固定工具模式下的工具使用任务中表现出色，但工具模式并不是代理的行动空间，而只是其一种接口表示。相同的可执行动作可以通过多种不同的工具定义来暴露，真正学习任务的代理应该在这些定义中表现一致。我们称这种现象为模式偏差。为系统研究这一现象，本文引入了一种可执行变换框架，通过九种操作重写原生工具模式。我们评估了包括两个封闭模型在内的十一种LLM在多达32种模式变体上的表现，发现模式偏差显著，成功率从完全失败到97%不等。训练仅在变体出现在训练数据时才能修复该变体。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在不同工具模式下表现不一致的问题，现有方法未能有效处理工具模式偏差，导致模型在实际应用中的可靠性下降。
核心思路：通过引入可执行变换框架，利用九种操作对工具模式进行重写，确保任务和可执行动作不变，从而系统地评估模式偏差的影响。
技术框架：整体架构包括工具模式的重写模块、可执行动作评估模块和模式偏差分析模块。重写模块负责生成不同的工具模式，评估模块则用于测试模型在这些模式下的表现。
关键创新：最重要的创新在于提出了可执行变换框架，能够通过不同的工具定义来系统地分析模式偏差，而不是仅依赖于固定的工具模式。
关键设计：在设计中，使用了九种操作，包括工具的合并与拆分、单一工具表达的改变以及将一个动作分配到多个依赖调用中，确保了实验的严谨性和结果的可比性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模式偏差显著，成功率在不同模式下从完全失败到97%不等。通过对11种LLM的评估，发现训练仅能修复出现在训练数据中的模式变体，强调了训练数据的重要性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化工具和人机交互等。通过减轻工具模式偏差，能够提升LLM在实际应用中的表现和可靠性，进而推动智能系统的广泛应用与发展。
📄 摘要（原文）
Large Language Models (LLMs) have shown strong performance on tool-use agentic tasks when given a fixed tool schema. Yet a tool schema is not the action space of an agent; it is merely one interface representation of it. The same executable action can be exposed through many different, functionally equivalent tool definitions, and an agent that has truly learned a task should behave consistently across them. We show that current agents often do not, a phenomenon we term schema bias. To study this systematically, we introduce an executable transformation framework that rewrites a native tool schema using nine operators, including merging and splitting tools, altering how a single tool is expressed, and distributing one action across several dependent calls. The tasks, executable actions, and reachable states remain fixed, so any change in success is attributable to the interface alone. Evaluating eleven LLMs, including two closed models, on up to 32 schema variants, we ask how large schema bias is, how it manifests, whether the difficulty of a schema variant can be predicted without a full evaluation, and whether training removes it. We find that schema bias is substantial even for the newest models: success rates range from complete failure to 97% depending solely on the schema. To reliably estimate schema difficulty, it requires running a small sample of the target queries. Training repairs a schema variant only when that variant appears in the training data.