Feature Importance in Pedestrian Intention Prediction: A Context-Aware Review
作者: Mohsen Azarmi, Mahdi Rezaei, He Wang, Ali Arabian
分类: cs.CV, cs.AI, cs.LG, cs.RO, eess.IV
发布日期: 2024-09-11
💡 一句话要点
提出上下文感知排列特征重要性(CAPFI)，提升行人意图预测模型的可解释性。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 行人意图预测 特征重要性 可解释性 上下文感知 自动驾驶
📋 核心要点
- 深度神经网络在行人意图预测中表现出色，但其黑盒特性限制了对模型工作原理和特征贡献的理解。
- 论文提出CAPFI方法，通过考虑场景上下文细分和有针对性的特征值打乱，提升特征重要性评估的可靠性。
- 实验表明，行人边界框和自车速度是预测行人意图的关键特征，并提出了一种新的特征表示方法以提升预测性能。
📝 摘要（中文）
本文针对自动驾驶车辆中行人意图预测的深度神经网络黑盒问题，提出了一种新的上下文感知排列特征重要性(CAPFI)方法。CAPFI通过细分场景上下文，有针对性地打乱特征值，降低特征值随机性，从而实现更具解释性和可靠性的特征重要性评估，减少方差并防止排列过程中重要性得分的偏差估计。研究将行人意图估计(PIE)数据集划分为16个可比的上下文集合，测量了五种不同神经网络架构在每个上下文中的基线性能，并使用CAPFI评估了输入特征的重要性。研究结果揭示了行人边界框和自车速度在预测行人意图中的关键作用，并通过跨上下文排列评估发现了速度特征可能导致的预测偏差。此外，提出了一种考虑接近度变化率的替代特征表示，以增强输入特征对意图预测的贡献。这些发现强调了上下文特征及其多样性对于开发准确且鲁棒的意图预测模型的重要性。
🔬 方法详解
问题定义：现有行人意图预测模型依赖于深度神经网络，但其黑盒特性使得难以理解模型如何利用输入特征进行预测。这阻碍了对模型性能的信任，并限制了特征选择、表示和模型优化的有效性。因此，需要一种方法来解释模型预测，并确定哪些特征对预测结果影响最大。
核心思路：论文的核心思路是引入上下文信息，通过将场景划分为不同的上下文集合，并在每个上下文中独立评估特征的重要性。这种方法可以减少特征值随机性带来的影响，并提供更可靠的特征重要性评估。通过有针对性地打乱特征值，可以降低方差，并防止排列过程中重要性得分的偏差估计。
技术框架：该方法首先将行人意图估计(PIE)数据集划分为16个可比的上下文集合。然后，针对每个上下文集合，测量五种不同的神经网络架构在行人意图预测任务上的基线性能。最后，使用提出的CAPFI方法评估每个输入特征在不同上下文中的重要性。通过比较不同上下文中的特征重要性，可以发现哪些特征在特定场景下更为重要。
关键创新：CAPFI的关键创新在于其上下文感知能力。传统的特征重要性评估方法通常忽略场景上下文，导致评估结果可能受到特征值随机性的影响。CAPFI通过将场景划分为不同的上下文集合，并在每个上下文中独立评估特征的重要性，从而减少了这种影响。此外，CAPFI还提出了一种新的特征表示方法，即考虑接近度变化率，以增强输入特征对意图预测的贡献。
关键设计：论文将PIE数据集划分为16个上下文集合，划分标准未知。五种神经网络架构的具体结构未知。CAPFI方法中，特征值打乱的具体策略未知。接近度变化率的具体计算方法未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，行人边界框和自车速度是预测行人意图的关键特征。通过跨上下文排列评估，发现了速度特征可能导致的预测偏差。提出的考虑接近度变化率的替代特征表示，能够增强输入特征对意图预测的贡献，但具体性能提升数据未知。
🎯 应用场景
该研究成果可应用于自动驾驶车辆的行人意图预测系统，提升系统对行人行为的理解和预测能力，从而提高自动驾驶的安全性和可靠性。此外，该方法也可用于分析其他计算机视觉任务中深度神经网络的特征重要性，为模型优化和特征选择提供指导。
📄 摘要（原文）
Recent advancements in predicting pedestrian crossing intentions for Autonomous Vehicles using Computer Vision and Deep Neural Networks are promising. However, the black-box nature of DNNs poses challenges in understanding how the model works and how input features contribute to final predictions. This lack of interpretability delimits the trust in model performance and hinders informed decisions on feature selection, representation, and model optimisation; thereby affecting the efficacy of future research in the field. To address this, we introduce Context-aware Permutation Feature Importance (CAPFI), a novel approach tailored for pedestrian intention prediction. CAPFI enables more interpretability and reliable assessments of feature importance by leveraging subdivided scenario contexts, mitigating the randomness of feature values through targeted shuffling. This aims to reduce variance and prevent biased estimations in importance scores during permutations. We divide the Pedestrian Intention Estimation (PIE) dataset into 16 comparable context sets, measure the baseline performance of five distinct neural network architectures for intention prediction in each context, and assess input feature importance using CAPFI. We observed nuanced differences among models across various contextual characteristics. The research reveals the critical role of pedestrian bounding boxes and ego-vehicle speed in predicting pedestrian intentions, and potential prediction biases due to the speed feature through cross-context permutation evaluation. We propose an alternative feature representation by considering proximity change rate for rendering dynamic pedestrian-vehicle locomotion, thereby enhancing the contributions of input features to intention prediction. These findings underscore the importance of contextual features and their diversity to develop accurate and robust intent-predictive models.