A Safe Preference Learning Approach for Personalization with Applications to Autonomous Vehicles

📄 arXiv: 2311.02099v4 📥 PDF

作者: Ruya Karagulle, Nikos Arechiga, Andrew Best, Jonathan DeCastro, Necmiye Ozay

分类: cs.AI, eess.SY

发布日期: 2023-10-30 (更新: 2024-03-26)

备注: 9 pages, 3 figures, 2 tables. This work has been published at IEEE Robotics and Automation Letters

💡 一句话要点

提出安全偏好学习方法以解决自动驾驶个性化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好学习 自动驾驶 信号时序逻辑 安全性 个性化控制 深度学习 交通规则

📋 核心要点

  1. 现有偏好学习方法在自动驾驶领域未能有效结合安全性与个性化需求，存在安全隐患。
  2. 论文提出了一种基于成对比较的安全偏好学习方法，利用PWSTL公式优先级排序来确保遵循交通规则。
  3. 实验结果表明，该方法在捕捉用户偏好和安全性方面显著优于现有方法，具有良好的实用性。

📝 摘要（中文）

本文介绍了一种偏好学习方法，确保遵循给定规范，应用于自动驾驶车辆。该方法将描述交通规则的信号时序逻辑（STL）公式的优先级排序纳入学习框架。通过利用参数加权信号时序逻辑（PWSTL），我们将安全保证的偏好学习问题形式化为成对比较，并提出了一种解决该学习问题的方法。我们的方案找到PWSTL公式权重的可行估值，使得在这些权重下，优选信号的加权量化满足度大于非优选信号。通过对两种不同模拟驾驶场景的试点人类受试者研究，我们的方法在捕捉偏好方面与现有偏好学习方法相比具有竞争力，并在考虑安全性时显著优于它们。

🔬 方法详解

问题定义：本文旨在解决自动驾驶车辆中偏好学习与安全性结合的挑战。现有方法未能有效考虑交通规则的优先级，导致安全隐患。

核心思路：论文提出的解决方案是将信号时序逻辑（STL）公式的优先级排序融入学习框架，通过PWSTL实现安全保证的偏好学习。

技术框架：整体架构包括数据收集、PWSTL公式构建、成对比较学习和控制器合成四个主要模块。数据收集阶段获取用户偏好，PWSTL公式构建阶段定义交通规则，成对比较学习阶段进行偏好学习，最后合成控制器。

关键创新：最重要的技术创新在于将PWSTL的权重估值与偏好学习结合，确保优选信号的加权满足度高于非优选信号，从而实现安全性与个性化的平衡。

关键设计：关键参数设置包括PWSTL公式的权重分配，损失函数设计为加权满足度差异，网络结构采用深度学习模型以优化学习过程。具体细节包括对成对比较的优化算法选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在捕捉用户偏好方面与现有方法相比具有竞争力，尤其在安全性考虑下，性能提升显著。在模拟驾驶场景中，优选信号的加权满足度明显高于非优选信号，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶车辆的个性化控制系统，能够根据用户偏好和交通规则进行安全驾驶。未来，该方法可能扩展到其他需要个性化与安全性结合的智能系统，如智能家居和机器人导航等。

📄 摘要（原文）

This work introduces a preference learning method that ensures adherence to given specifications, with an application to autonomous vehicles. Our approach incorporates the priority ordering of Signal Temporal Logic (STL) formulas describing traffic rules into a learning framework. By leveraging Parametric Weighted Signal Temporal Logic (PWSTL), we formulate the problem of safety-guaranteed preference learning based on pairwise comparisons and propose an approach to solve this learning problem. Our approach finds a feasible valuation for the weights of the given PWSTL formula such that, with these weights, preferred signals have weighted quantitative satisfaction measures greater than their non-preferred counterparts. The feasible valuation of weights given by our approach leads to a weighted STL formula that can be used in correct-and-custom-by-construction controller synthesis. We demonstrate the performance of our method with a pilot human subject study in two different simulated driving scenarios involving a stop sign and a pedestrian crossing. Our approach yields competitive results compared to existing preference learning methods in terms of capturing preferences and notably outperforms them when safety is considered.