BT-Agent: Deploying Onboard Robot Agents with Behavior Trees and Multi-Fidelity Evaluation
作者: Fabio Hübel, Adam Lilja, Yue Yin, Siming He, Claire Tomlin, Shankar Sastry, Jonas Frey, Marco Pavone
分类: cs.RO
发布日期: 2026-10-09
备注: 9 pages, 7 figures
💡 一句话要点
提出BT-Agent以解决移动机器人任务执行中的计算限制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 行为树 大型语言模型 移动机器人 任务推理 多保真度评估 智能代理 自主导航
📋 核心要点
- 现有方法在移动机器人上执行复杂任务时面临计算和内存限制，难以实现高效的任务推理与执行。
- BT-Agent通过结合大型语言模型和行为树技能，提供了一种新的车载架构，能够在有限资源下进行有效的任务决策。
- 实验结果显示，BT-Agent在多个任务类别上表现优异，相较于基线模型在成功率上有显著提升，尤其在4B和9B模型上分别提高了10和5个百分点。
📝 摘要（中文）
在移动机器人上部署语言模型代理需要在有限的计算和内存条件下进行任务推理和响应执行。本文提出了BT-Agent，这是一种结合了大型语言模型驱动的任务决策与预定义行为树技能的车载架构。这些技能强制执行执行条件并返回结构化的失败反馈。我们在一个四足机器人上展示了使用9B模型的完全车载操作，涵盖五个任务类别。干预测试表明，局部检查可以在不等待其他模型决策的情况下停止正在进行的导航，同时代理仍然保持活跃以重试或报告约束。为了高效比较代理设计，我们引入了一个161任务的多保真度基准，在所有任务上进行文本评估，并在39个任务上使用Habitat进行评估。文本评估支持10.9倍的更高评估吞吐量，而仿真揭示了感知和运动失败如何改变任务结果。BT-Agent在4B和9B模型上相较于最强的Act/ReAct基线取得了约10和5个百分点的成功提升。消融实验表明，结构化工具调用和信息丰富的失败反馈是最有用的组成部分。
🔬 方法详解
问题定义：本文旨在解决在移动机器人上执行复杂任务时，由于计算和内存限制导致的任务推理和执行效率低下的问题。现有方法往往无法在实时环境中快速响应并适应变化。
核心思路：BT-Agent的核心思路是将大型语言模型（LLM）与行为树（BT）技能相结合，利用LLM进行任务决策，同时通过BT技能确保执行条件的满足和提供结构化的失败反馈。这样的设计使得代理能够在有限的资源下高效运行。
技术框架：BT-Agent的整体架构包括三个主要模块：首先是LLM模块，负责任务推理和决策；其次是BT技能模块，定义具体的执行步骤和条件；最后是反馈机制模块，处理执行中的失败反馈并进行相应的调整。
关键创新：BT-Agent的主要创新在于其将LLM与BT结合的方式，允许代理在执行过程中进行局部检查，及时响应环境变化，而不必等待模型的进一步决策。这种设计显著提高了任务执行的灵活性和效率。
关键设计：在关键设计方面，BT-Agent采用了结构化的工具调用和信息丰富的失败反馈机制，这些设计使得代理能够更好地处理执行中的不确定性和复杂性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BT-Agent在使用4B和9B模型时，相较于最强的Act/ReAct基线模型，成功率分别提高了约10和5个百分点。此外，文本评估的吞吐量提高了10.9倍，显示出BT-Agent在多任务处理中的高效性。
🎯 应用场景
BT-Agent的研究成果在多个领域具有广泛的应用潜力，包括自主导航、智能家居、无人驾驶等场景。通过提升机器人在复杂环境中的任务执行能力，该技术能够显著提高机器人在实际应用中的智能化水平和适应能力，推动机器人技术的进一步发展。
📄 摘要（原文）
Deploying language-model agents onboard mobile robots requires task reasoning and responsive execution within limited compute and memory. We propose BT-Agent, an onboard architecture combining LLM-driven task decisions with predefined behavior-tree (BT) skills. These skills enforce execution conditions and return structured failure feedback. We demonstrate fully onboard operation with a 9B model on a quadruped across five task categories. Intervention tests show that local checks stop ongoing navigation without waiting for another model decision, while the agent remains active to retry or report constraints. To compare agent designs efficiently, we introduce a 161-task multi-fidelity benchmark, evaluated in text on all tasks and in Habitat on 39. Text supports 10.9$\times$ higher evaluation throughput, while simulation reveals how perception and motion failures change task outcomes. BT-Agent's largest success gains over the strongest Act/ReAct baseline occur at 4B and 9B: approximately 10 and 5 percentage points. Ablations identify structured tool calls and informative failure feedback as the most useful components.