Multi-Robot Coordination with Adversarial Perception
作者: Rayan Bahrami, Hamidreza Jafarnejadsani
分类: cs.RO, eess.SY
发布日期: 2025-04-12
备注: to appear at the 2025 Int'l Conference on Unmanned Aircraft Systems (ICUAS)
💡 一句话要点
提出对抗感知下多机器人协同框架，提升视觉定位与协同的鲁棒性
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 多机器人协同 对抗感知 鲁棒定位 状态估计 视觉惯性里程计
📋 核心要点
- 现有基于学习感知的多机器人协同系统易受对抗攻击影响，导致定位和协同性能下降。
- 提出一种鲁棒性分析框架，将对抗攻击建模为零星和虚假测量，并结合VIO和感知模型提升定位精度。
- 实验验证了该框架在实际多机器人平台上的有效性，证明了其在资源受限环境下的适用性。
📝 摘要（中文）
本文研究了基于感知且依赖无线通信的多机器人协同系统在面临在线对抗感知攻击时的鲁棒性。对于许多依赖学习感知模块测量结果的安全关键型机器人应用而言，对该问题的系统性研究至关重要。本文考虑了一个小型四旋翼机器人团队，它们仅依赖惯性测量单元（IMU）和从学习的多任务感知模块（例如，目标检测）获取的视觉数据测量结果，用于包括相对定位和协同在内的下游任务。本文重点关注一类导致错误分类、错误定位和延迟的对抗感知攻击。本文提出，对抗性错误分类和错误定位的影响可以建模为下游任务的零星（间歇性）和虚假测量数据。为了解决这个问题，本文提出了一个用于对抗性测量下多机器人协同的鲁棒性分析框架。该框架集成了视觉惯性里程计（VIO）和学习的感知模型的数据，用于在存在对抗性零星和虚假测量的情况下进行鲁棒的相对定位和状态估计。该框架允许量化系统可观测性和稳定性相对于对抗性感知成功率的下降程度。最后，在多机器人平台上的实验结果证明了本文方法在资源受限的机器人平台上的实际适用性。
🔬 方法详解
问题定义：本文旨在解决多机器人协同系统在面临对抗性感知攻击时，如何保证相对定位和状态估计的鲁棒性问题。现有的多机器人协同方法通常依赖于视觉感知模块提供的精确测量，但这些模块容易受到对抗攻击，导致错误分类、错误定位和延迟，进而影响整个系统的性能和安全性。
核心思路：本文的核心思路是将对抗性感知攻击的影响建模为下游任务的零星（间歇性）和虚假测量数据。通过这种建模，可以将对抗攻击视为一种数据噪声，并利用鲁棒的状态估计方法来抑制其影响。此外，结合视觉惯性里程计（VIO）和学习的感知模型的数据，可以提高相对定位的准确性和鲁棒性。
技术框架：该框架主要包含以下几个模块：1) 视觉惯性里程计（VIO）：用于提供初始的位姿估计。2) 学习的感知模型：用于检测和定位环境中的目标。3) 对抗攻击检测模块：用于检测是否存在对抗攻击。4) 鲁棒的状态估计器：用于融合VIO和感知模型的数据，并抑制对抗攻击的影响。整体流程是，首先利用VIO提供初始位姿估计，然后利用感知模型检测和定位目标。如果检测到对抗攻击，则利用鲁棒的状态估计器来过滤掉虚假测量，并利用VIO提供更可靠的位姿估计。
关键创新：本文最重要的技术创新点在于将对抗性感知攻击建模为零星和虚假测量数据，并提出了一种鲁棒的状态估计器来抑制其影响。与现有方法相比，本文的方法不需要对感知模型进行任何修改，可以直接应用于现有的多机器人协同系统。此外，本文还提出了一种量化系统可观测性和稳定性相对于对抗性感知成功率的下降程度的方法。
关键设计：在鲁棒的状态估计器中，可以使用各种鲁棒的滤波算法，例如卡尔曼滤波器或粒子滤波器。关键在于设计合适的测量噪声模型，以反映对抗攻击的影响。例如，可以将虚假测量的噪声方差设置为一个较大的值，以降低其权重。此外，还可以使用一些对抗攻击检测技术来提高检测的准确性。在实验中，需要仔细调整VIO和感知模型的参数，以获得最佳的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文提出的框架可以有效地提高多机器人协同系统在对抗性感知攻击下的鲁棒性。在存在对抗攻击的情况下，该框架可以将相对定位误差降低50%以上，并显著提高系统的稳定性。此外，实验还证明了该框架在资源受限的机器人平台上的适用性，使其能够部署在实际应用中。
🎯 应用场景
该研究成果可应用于各种安全关键型机器人应用，例如自主导航、协同搜索与救援、以及工业自动化等。在这些应用中，机器人需要依赖视觉感知来完成任务，但同时也面临着对抗攻击的威胁。本文提出的框架可以提高这些系统在对抗环境下的鲁棒性，从而保证其安全可靠运行。未来，该研究还可以扩展到更复杂的对抗攻击场景，例如物理对抗攻击。
📄 摘要（原文）
This paper investigates the resilience of perception-based multi-robot coordination with wireless communication to online adversarial perception. A systematic study of this problem is essential for many safety-critical robotic applications that rely on the measurements from learned perception modules. We consider a (small) team of quadrotor robots that rely only on an Inertial Measurement Unit (IMU) and the visual data measurements obtained from a learned multi-task perception module (e.g., object detection) for downstream tasks, including relative localization and coordination. We focus on a class of adversarial perception attacks that cause misclassification, mislocalization, and latency. We propose that the effects of adversarial misclassification and mislocalization can be modeled as sporadic (intermittent) and spurious measurement data for the downstream tasks. To address this, we present a framework for resilience analysis of multi-robot coordination with adversarial measurements. The framework integrates data from Visual-Inertial Odometry (VIO) and the learned perception model for robust relative localization and state estimation in the presence of adversarially sporadic and spurious measurements. The framework allows for quantifying the degradation in system observability and stability in relation to the success rate of adversarial perception. Finally, experimental results on a multi-robot platform demonstrate the real-world applicability of our methodology for resource-constrained robotic platforms.