Realistic Counterfactual Explanations for Machine Learning-Controlled Mobile Robots using 2D LiDAR

📄 arXiv: 2505.06906v1 📥 PDF

作者: Sindre Benjamin Remman, Anastasios M. Lekkas

分类: cs.RO, cs.LG, eess.SY

发布日期: 2025-05-11

备注: Accepted for publication at the 2025 European Control Conference (ECC)

💡 一句话要点

提出基于2D LiDAR的对抗解释方法，用于理解和调试移动机器人强化学习控制策略。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗解释 可解释AI 移动机器人 深度强化学习 2D LiDAR 遗传算法 自主导航

📋 核心要点

  1. 深度强化学习控制的移动机器人决策过程难以解释，尤其在安全攸关场景下，缺乏透明度。
  2. 利用遗传算法优化LiDAR空间中的简单几何形状参数，生成对抗样本，诱导模型产生特定控制输出。
  3. 在TurtleBot3机器人上验证，生成了逻辑合理的对抗解释，有助于理解和调试强化学习控制策略。

📝 摘要（中文）

本文提出了一种新颖的方法，用于在使用2D LiDAR的移动机器人中，为基于机器学习（ML）的控制生成逼真的对抗解释（CFE）。机器学习模型，特别是人工神经网络（ANN），可以通过从数据中学习来提供先进的决策和控制能力。然而，它们通常作为黑盒运行，使得解释它们具有挑战性。这在安全关键的控制应用中尤其是一个问题。为了生成逼真的CFE，我们使用诸如圆形和矩形之类的简单形状来参数化LiDAR空间，这些形状的参数由遗传算法选择，并且配置通过光线投射转换为LiDAR数据。我们与模型无关的方法生成对抗解释，其形式为合成LiDAR数据，该数据类似于基本LiDAR状态，但经过修改以基于用户的查询产生预定义的ML模型控制输出。我们在移动机器人TurtleBot3上演示了我们的方法，该机器人使用深度强化学习（DRL）在真实世界和模拟场景中进行控制。我们的方法生成逻辑和逼真的CFE，这有助于解释DRL代理的决策。本文有助于推进移动机器人中可解释AI的发展，并且我们的方法可以作为理解、调试和改进基于ML的自主控制的工具。

🔬 方法详解

问题定义：论文旨在解决基于机器学习（特别是深度强化学习）控制的移动机器人决策过程缺乏可解释性的问题。现有的机器学习模型，尤其是深度神经网络，通常被视为黑盒，难以理解其决策依据。这在安全关键的控制应用中带来了挑战，例如，无法确定机器人为何选择某个特定动作，以及如何改变输入才能使其采取不同的动作。

核心思路：论文的核心思路是通过生成对抗解释（Counterfactual Explanations, CFE）来揭示模型决策的内在逻辑。具体而言，通过修改LiDAR传感器的输入数据，生成一个与原始输入相似但能导致模型产生不同（预定义）输出的对抗样本。通过分析这个对抗样本与原始输入的差异，可以理解模型对不同LiDAR扫描信息的响应方式。

技术框架：该方法包含以下几个主要模块：1) LiDAR空间参数化：使用简单的几何形状（如圆形和矩形）来参数化LiDAR扫描空间，每个形状由一组参数（如位置、大小）定义。2) 遗传算法优化：使用遗传算法来搜索最优的几何形状参数，使得生成的LiDAR扫描数据能够诱导模型产生期望的控制输出。遗传算法的目标函数是衡量模型输出与期望输出之间的差异。3) 光线投射：将几何形状参数转换为LiDAR扫描数据，通过模拟光线投射过程，生成与真实LiDAR数据相似的合成数据。4) 模型推理与评估：将生成的LiDAR数据输入到深度强化学习模型中，观察模型的输出，并评估对抗解释的有效性。

关键创新：该方法的关键创新在于使用参数化的几何形状和遗传算法来生成逼真的对抗解释。与直接修改原始LiDAR数据相比，这种方法能够生成更具逻辑性和可解释性的对抗样本。此外，该方法是模型无关的，可以应用于不同的深度强化学习模型。

关键设计：在LiDAR空间参数化方面，选择圆形和矩形作为基本形状，因为它们简单且易于控制。遗传算法的参数设置（如种群大小、交叉概率、变异概率）需要根据具体问题进行调整。目标函数的设计至关重要，需要平衡模型输出与期望输出之间的差异，以及对抗样本与原始输入之间的相似度。光线投射的精度也会影响生成对抗样本的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在TurtleBot3移动机器人上进行了验证，包括真实环境和模拟环境。实验结果表明，该方法能够生成逻辑合理的对抗解释，有效地揭示了深度强化学习模型的决策过程。例如，通过添加一个虚拟障碍物，可以诱导机器人改变其行驶方向，从而理解模型对障碍物的反应。该方法为理解和调试基于深度强化学习的移动机器人控制策略提供了一种有效的工具。

🎯 应用场景

该研究成果可应用于多种移动机器人自主导航和控制场景，例如自动驾驶、仓储物流、安防巡检等。通过生成对抗解释，可以帮助工程师理解和调试机器人控制策略，发现潜在的安全隐患，并改进模型的鲁棒性和可靠性。此外，该方法还可以用于教育和培训，帮助学生和研究人员更好地理解深度强化学习算法的内部机制。

📄 摘要（原文）

This paper presents a novel method for generating realistic counterfactual explanations (CFEs) in machine learning (ML)-based control for mobile robots using 2D LiDAR. ML models, especially artificial neural networks (ANNs), can provide advanced decision-making and control capabilities by learning from data. However, they often function as black boxes, making it challenging to interpret them. This is especially a problem in safety-critical control applications. To generate realistic CFEs, we parameterize the LiDAR space with simple shapes such as circles and rectangles, whose parameters are chosen by a genetic algorithm, and the configurations are transformed into LiDAR data by raycasting. Our model-agnostic approach generates CFEs in the form of synthetic LiDAR data that resembles a base LiDAR state but is modified to produce a pre-defined ML model control output based on a query from the user. We demonstrate our method on a mobile robot, the TurtleBot3, controlled using deep reinforcement learning (DRL) in real-world and simulated scenarios. Our method generates logical and realistic CFEs, which helps to interpret the DRL agent's decision making. This paper contributes towards advancing explainable AI in mobile robotics, and our method could be a tool for understanding, debugging, and improving ML-based autonomous control.