Realistic Counterfactual Explanations for Machine Learning-Controlled Mobile Robots using 2D LiDAR

📄 arXiv: 2505.06906v1 📥 PDF

作者: Sindre Benjamin Remman, Anastasios M. Lekkas

分类: cs.RO, cs.LG, eess.SY

发布日期: 2025-05-11

备注: Accepted for publication at the 2025 European Control Conference (ECC)

💡 一句话要点

提出一种基于2D LiDAR的现实反事实解释方法以提升移动机器人可解释性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 反事实解释 移动机器人 深度强化学习 可解释人工智能 2D LiDAR 遗传算法 机器学习控制

📋 核心要点

  1. 现有机器学习模型在控制应用中常常表现为黑箱，难以解释其决策过程，尤其在安全关键场景中尤为突出。
  2. 本文提出了一种基于2D LiDAR的反事实解释生成方法，通过遗传算法优化简单几何形状的参数，生成合成LiDAR数据。
  3. 实验结果表明，该方法在TurtleBot3上实现了逻辑且现实的反事实解释，帮助理解和调试深度强化学习代理的决策过程。

📝 摘要（中文）

本文提出了一种新颖的方法，通过使用2D LiDAR生成机器学习控制的移动机器人中的现实反事实解释（CFE）。尽管机器学习模型，尤其是人工神经网络（ANN），在决策和控制方面具有先进能力，但其黑箱特性使得解释变得困难，尤其在安全关键的控制应用中。为生成现实的CFE，作者通过遗传算法选择简单形状（如圆形和矩形）的参数，并通过光线投射将配置转化为LiDAR数据。该模型无关的方法生成的CFE以合成LiDAR数据的形式呈现，能够在用户查询的基础上修改以产生预定义的机器学习模型控制输出。通过在TurtleBot3移动机器人上进行深度强化学习（DRL）的真实和模拟场景实验，验证了该方法的有效性，促进了移动机器人领域的可解释人工智能发展。

🔬 方法详解

问题定义：本文旨在解决机器学习控制的移动机器人中反事实解释的生成问题，现有方法往往缺乏可解释性，尤其在安全关键应用中，难以理解模型的决策依据。

核心思路：论文提出通过参数化LiDAR空间，利用遗传算法选择简单几何形状的参数，并通过光线投射生成合成LiDAR数据，从而实现对模型决策的反事实解释。

技术框架：整体流程包括：首先，定义LiDAR空间的几何形状；其次，使用遗传算法优化这些形状的参数；然后，通过光线投射将这些形状转化为LiDAR数据；最后，生成符合用户查询的反事实解释。

关键创新：该方法的创新点在于其模型无关性和生成的合成LiDAR数据的现实性，能够有效地提供对深度强化学习模型决策的解释，与传统的黑箱模型相比，显著提升了可解释性。

关键设计：在参数设置上，遗传算法用于优化几何形状的参数，确保生成的LiDAR数据能够真实反映环境；损失函数设计上，确保生成的反事实数据能够引导模型输出预定义的控制结果。

📊 实验亮点

实验结果显示，所提出的方法在TurtleBot3上生成的反事实解释不仅逻辑合理，而且与真实LiDAR数据相似，显著提升了对深度强化学习代理决策的理解。与传统方法相比，该方法在解释的现实性和逻辑性上均有显著改善。

🎯 应用场景

该研究的潜在应用领域包括移动机器人、自动驾驶汽车以及其他需要高可解释性的机器学习控制系统。通过提供清晰的决策解释，该方法能够帮助开发者理解和调试模型，提升系统的安全性和可靠性，未来可能在智能交通、服务机器人等领域产生深远影响。

📄 摘要（原文）

This paper presents a novel method for generating realistic counterfactual explanations (CFEs) in machine learning (ML)-based control for mobile robots using 2D LiDAR. ML models, especially artificial neural networks (ANNs), can provide advanced decision-making and control capabilities by learning from data. However, they often function as black boxes, making it challenging to interpret them. This is especially a problem in safety-critical control applications. To generate realistic CFEs, we parameterize the LiDAR space with simple shapes such as circles and rectangles, whose parameters are chosen by a genetic algorithm, and the configurations are transformed into LiDAR data by raycasting. Our model-agnostic approach generates CFEs in the form of synthetic LiDAR data that resembles a base LiDAR state but is modified to produce a pre-defined ML model control output based on a query from the user. We demonstrate our method on a mobile robot, the TurtleBot3, controlled using deep reinforcement learning (DRL) in real-world and simulated scenarios. Our method generates logical and realistic CFEs, which helps to interpret the DRL agent's decision making. This paper contributes towards advancing explainable AI in mobile robotics, and our method could be a tool for understanding, debugging, and improving ML-based autonomous control.