Multi-Agent Robotic Control with Onboard Vision-Language Models
作者: Kajetan Rachwał, Maciej Majek, Bartłomiej Boczek, Jakub Matejczyk, Dominik Matejkowski, Adam Dąbrowski, Tim Seyde, Alexander Amini, Maria Ganzha
分类: cs.MA, cs.RO
发布日期: 2026-07-08
备注: 6 pages, 2 figures, accepted to 24th International Conference on Practical applications of Agents and Multi-Agent Systems (PAAMS'26)
💡 一句话要点
提出多智能体系统以解决机器人控制中的计算依赖问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 视觉语言模型 机器人控制 自主决策 工业自动化 硬件在环仿真 上下文保留 成本效益
📋 核心要点
- 现有的视觉语言模型在机器人控制中存在可解释性差、泛化能力不足和计算资源需求高等问题。
- 本文提出了一种多智能体系统架构，通过在机载硬件上部署专用代理，消除对外部计算的依赖。
- 实验结果表明，该系统在模拟环境中表现出色，提供了一种低成本且高效的机器人控制解决方案。
📝 摘要（中文）
视觉语言模型（VLMs）和视觉语言动作（VLA）模型在机器人控制中展现出潜力，但在可解释性、泛化能力和计算需求方面面临重大挑战。本文提出了一种多智能体系统（MAS）架构，通过在机载硬件上部署专用代理，消除了对外部计算的依赖。该系统控制一个多用途自主移动操纵器，在模拟工业仓库中完成安全检查、仓库维护、仓库搜索、包裹质量验证和响应人类请求等五类任务。使用紧凑型VLM（3-20B参数），并通过微调提高包裹检查的准确性。新颖的“Megamind”协调代理缓解了小模型在长时间规划中固有的上下文保留问题。该系统在使用AMD Ryzen(TM) AI迷你PC的硬件在环仿真中进行了验证，结果表明完全机载的MAS架构是云依赖部署的可行且具有成本效益的替代方案，具有强大的现实转移潜力。该模拟环境已作为开源项目发布，采用Apache 2.0许可证。
🔬 方法详解
问题定义：本文旨在解决现有视觉语言模型在机器人控制中的可解释性、泛化能力和计算需求等痛点，尤其是对外部计算资源的依赖问题。
核心思路：通过构建一个多智能体系统架构，将专用代理部署在机载硬件上，从而实现自主控制，减少对云计算的依赖。
技术框架：系统由多个紧凑型视觉语言模型（3-20B参数）组成，配合“Megamind”协调代理，能够有效管理长时间规划中的上下文信息。系统在模拟工业仓库中进行任务执行，包括安全检查和包裹质量验证等。
关键创新：最重要的创新在于提出了“Megamind”协调代理，解决了小模型在长时间任务中的上下文保留问题，提升了系统的整体性能。
关键设计：系统采用紧凑型VLM并进行微调，以提高包裹检查的准确性，关键参数和损失函数的设置经过精心设计，以确保模型在特定任务中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的完全机载多智能体系统在模拟环境中成功完成了多项任务，表现出较高的准确性和效率。与传统云依赖系统相比，成本显著降低，且在任务执行中展现出强大的实时响应能力。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、智能仓储和服务机器人等。通过实现完全机载的多智能体系统，能够在不依赖云计算的情况下，提升机器人在复杂环境中的自主决策能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Vision Language Models (VLMs) and Vision Language Action (VLA) models have shown promise in robotic control. Yet, they face significant challenges regarding explainability, generalization, and compute requirements. This paper presents a Multi-Agent System (MAS) architecture that addresses these limitations by deploying specialized agents on onboard hardware - eliminating dependence on external compute. The system controls a multi-purpose autonomous mobile manipulator in a simulated industrial warehouse, fulfilling five task categories: safety inspection, warehouse maintenance, warehouse search, package quality verification, and responding to human requests. Compact VLMs (3-20B parameters) are used throughout, with fine-tuning applied to improve package inspection accuracy. A novel "Megamind" orchestration agent mitigates context retention issues inherent to long-horizon planning with smaller models. The system was validated in a hardware-in-the-loop simulation using an AMD Ryzen(TM) AI mini PC. Results demonstrate that a fully onboard MAS architecture is a viable, cost-efficient alternative to cloud-dependent deployments, with strong potential for real-world transfer. The simulation environment has been released as open source under the Apache 2.0 licence.