Safe MPC Alignment with Human Directional Feedback
作者: Zhixian Xie, Wenlong Zhang, Yi Ren, Zhaoran Wang, George J. Pappas, Wanxin Jin
分类: cs.RO
发布日期: 2024-07-05 (更新: 2025-12-07)
备注: 20 pages, pre-print, submitted to TRO
💡 一句话要点
提出基于人类方向反馈的安全MPC对齐方法，解决机器人安全约束学习难题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 安全约束学习 模型预测控制 人机交互 方向反馈 机器人控制
📋 核心要点
- 手动指定或从演示中学习安全约束在安全关键的机器人规划或控制中具有挑战性。
- 该方法利用人类方向反馈引导机器人进入更安全区域的特性，仅需反馈方向即可更新假设空间。
- 实验结果表明，该方法能够使机器人通过少量的人工指导成功学习安全约束，并在真实机器人上验证了有效性。
📝 摘要（中文）
本文提出了一种可验证的对齐方法，使机器人能够从人类在线方向反馈中学习其模型预测控制（MPC）策略中的安全约束。据我们所知，这是第一个从人类反馈中学习安全约束的方法。该方法基于一个经验观察：当可用时，人类方向反馈倾向于引导机器人朝向更安全的区域。该方法仅需要人类反馈的方向来更新学习假设空间。它是可验证的，在成功学习的情况下，提供了人类反馈总数的上限，或者声明假设错误指定，即在指定的假设空间内找不到真正的安全约束。我们在数值示例和两个模拟游戏的用户研究中评估了所提出的方法。此外，我们在执行移动倒水任务的真实Franka机器人手臂上测试了该方法。结果表明了我们方法的有效性和效率，表明它使机器人能够通过少量的（几十个）人类方向校正成功地学习安全约束。
🔬 方法详解
问题定义：在安全关键的机器人控制任务中，如何有效地学习并满足安全约束是一个重要问题。传统方法依赖于手动指定安全约束或从专家演示中学习，但前者耗时且易出错，后者需要大量的专家数据。现有的基于人类反馈的方法通常需要更丰富的反馈信息，例如奖励或惩罚，这增加了人类操作员的负担。因此，如何在少量人类指导下，快速准确地学习安全约束是一个挑战。
核心思路：论文的核心思路是利用人类的方向性反馈来指导机器人学习安全约束。作者观察到，当人类提供方向性反馈时，通常会引导机器人朝着更安全的方向移动。因此，可以通过分析人类反馈的方向，缩小安全约束的假设空间，从而加速学习过程。这种方法只需要人类提供方向信息，降低了交互成本。
技术框架：该方法的核心是一个迭代更新的假设空间。初始时，假设空间包含所有可能的安全约束。每当机器人接收到人类的方向性反馈时，该方法会根据反馈信息，排除与反馈方向不一致的假设，从而缩小假设空间。该过程持续进行，直到假设空间收敛到一个足够小的范围，或者达到预设的最大迭代次数。如果达到最大迭代次数，但假设空间仍然很大，则认为假设空间错误指定，即真实的约束不在初始假设空间中。
关键创新：该方法最重要的创新在于利用了人类方向性反馈的特性，提出了一种可验证的安全约束学习方法。与传统的基于奖励或惩罚的强化学习方法相比，该方法只需要方向信息，降低了交互成本。此外，该方法是可验证的，可以提供学习成功所需的反馈数量上限，或者在假设空间错误指定时发出警告。
关键设计：该方法的关键设计包括：1) 如何定义安全约束的假设空间；2) 如何根据人类反馈的方向更新假设空间；3) 如何判断假设空间是否收敛；4) 如何处理假设空间错误指定的情况。具体而言，安全约束通常被参数化为一个函数，假设空间由参数的取值范围定义。更新假设空间时，会排除那些使得机器人沿着反馈方向移动会违反安全约束的参数值。假设空间收敛的判断标准可以是假设空间的大小小于一个阈值，或者假设空间中的所有假设都足够接近。当假设空间错误指定时，可以扩大假设空间，或者要求人类提供更多的信息。
🖼️ 关键图片
📊 实验亮点
论文通过数值模拟、用户研究和真实机器人实验验证了所提出方法的有效性。在模拟游戏中，机器人仅需少量（几十个）人类方向校正即可成功学习安全约束。在真实Franka机器人手臂的倒水任务中，该方法也表现出良好的性能，能够使机器人安全地完成任务。实验结果表明，该方法能够显著减少学习安全约束所需的人工干预，提高学习效率。
🎯 应用场景
该研究成果可应用于各种安全关键的机器人控制场景，例如自动驾驶、医疗机器人、工业机器人等。通过利用人类的直觉和经验，机器人可以快速学习并适应复杂环境中的安全约束，提高系统的安全性和可靠性。该方法还可以用于人机协作任务中，使机器人能够更好地理解人类意图，并与人类安全地协同工作。未来，该方法可以扩展到更复杂的安全约束学习问题，例如学习多目标安全约束或时变安全约束。
📄 摘要（原文）
In safety-critical robot planning or control, manually specifying safety constraints or learning them from demonstrations can be challenging. In this article, we propose a certifiable alignment method for a robot to learn a safety constraint in its model predictive control (MPC) policy from human online directional feedback. To our knowledge, it is the first method to learn safety constraints from human feedback. The proposed method is based on an empirical observation: human directional feedback, when available, tends to guide the robot toward safer regions. The method only requires the direction of human feedback to update the learning hypothesis space. It is certifiable, providing an upper bound on the total number of human feedback in the case of successful learning, or declaring the hypothesis misspecification, i.e., the true safety constraint cannot be found within the specified hypothesis space. We evaluated the proposed method in numerical examples and user studies with two simulation games. Additionally, we tested the proposed method on a real-world Franka robot arm performing mobile water-pouring tasks. The results demonstrate the efficacy and efficiency of our method, showing that it enables a robot to successfully learn safety constraints with a small handful (tens) of human directional corrections.