A Schema Bounded Language Model for Refining Robot Policies Without Destabilizing Local Learning

📄 arXiv: 2609.05133v1 📥 PDF

作者: Chongwen Dong, Mithun Paul Saint-Germain, Pinjari Asif, Carlo R. daCunha

分类: cs.RO, cs.AI

发布日期: 2026-09-04

💡 一句话要点

提出一种模式约束语言模型以优化机器人策略而不干扰局部学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人导航 去中心化系统 策略优化 大型语言模型 多机器人协作

📋 核心要点

  1. 现有方法在去中心化系统中难以协调不同更新级别的策略推理与局部控制，导致导航效率低下。
  2. 本文提出了一种新颖的框架，结合LLM、UCB和Double DQN，使机器人在不同层级独立优化策略而不干扰局部学习。
  3. 实验结果表明，完整配置在所有评估中均成功达成目标，并显著降低了完成时间，相较其他配置提升幅度达25.0-39.1%。

📝 摘要（中文）

本文探讨了在去中心化系统中，复合异构机器人在导航时的策略推理与局部控制在不同更新级别下的协同工作。通过NetLogo-Python实现，三台机器人共享运动动态，但使用不同的大型语言模型（LLM）后端。每个机器人独立结合LLM策略代理、上置信界（UCB）赌博机和双深度Q网络（Double DQN）控制器；没有中央LLM生成团队动作。LLM推理仅限于回合级策略生成和优化，而非时钟级动作选择。机器人通过共享的回合摘要进行跨LLM通信，包含策略、结果和学习反馈。UCB执行优化模式选择，条件策略的Double DQN从导航变量、活动策略参数和LLM动作先验中选择时钟级动作。四种配置在30个回合中进行了评估，完整配置在90个相关的机器人-回合记录中均达成目标，并实现了最低的中位完成时间（42个时钟周期）和P90（73.2个时钟周期）。

🔬 方法详解

问题定义：本文旨在解决去中心化系统中复合异构机器人在导航时策略推理与局部控制不同更新级别下的协调问题。现有方法在这一点上存在效率低下和不稳定性的问题。

核心思路：论文提出的核心思路是通过结合大型语言模型（LLM）、上置信界（UCB）和双深度Q网络（Double DQN），使每个机器人能够独立优化其策略，同时保持局部学习的稳定性。这样的设计允许机器人在不同的更新级别上进行有效的决策。

技术框架：整体架构包括三个主要模块：LLM策略代理负责生成和优化策略，UCB用于选择优化模式，而Double DQN则负责从导航变量和活动策略参数中选择具体的动作。机器人通过共享的回合摘要进行信息交流。

关键创新：最重要的技术创新点在于将LLM推理限制在回合级别，而非时钟级别，从而避免了对局部学习的干扰。这种设计使得机器人能够在不依赖中央控制的情况下，独立且高效地进行决策。

关键设计：在参数设置上，使用了UCB进行模式选择，Double DQN则结合了策略条件进行动作选择。网络结构上，LLM与UCB、Double DQN的结合使得信息流动更加高效，确保了策略的快速优化与执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，完整配置在90个机器人-回合记录中均成功达成目标，且实现了最低的中位完成时间42个时钟周期和P90 73.2个时钟周期，相较其他配置提升幅度达25.0-39.1%。

🎯 应用场景

该研究的潜在应用领域包括自主机器人导航、智能交通系统和多机器人协作等。通过优化策略而不干扰局部学习，该方法能够提升机器人在复杂环境中的自主决策能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

This paper addresses navigation by composite heterogeneous robots in a decentralized system when policy reasoning and local control operate at different update levels. In a NetLogo--Python implementation, three robots share motion dynamics but use different LLM backends. Each robot independently combines a large language model (LLM) policy agent, an Upper Confidence Bound (UCB) bandit, and a Double Deep Q-Network (Double DQN) controller; no central LLM generates team actions. LLM inference is confined to round-level policy generation and refinement rather than tick-level action selection. The robots perform cross-LLM communication through a shared round summary containing policies, outcomes, and learning feedback. UCB performs refinement-mode selection, and the policy-conditioned Double DQN performs tick-level action selection from navigation variables, active policy parameters, and the LLM action prior. Each of the four configurations was evaluated over 30 rounds. In the fixed simulation, the complete configuration reached the goal in all 90 correlated robot--round records and achieved the lowest median completion time (42 ticks) and P90 (73.2 ticks); its median was 25.0--39.1\% lower than those of the other configurations. These observations provide descriptive, configuration-level evidence from the evaluated configurations.