SM2ITH: Safe Mobile Manipulation with Interactive Human Prediction via Task-Hierarchical Bilevel Model Predictive Control
作者: Francesco D'Orazio, Sepehr Samavi, Xintong Du, Siqi Zhou, Giuseppe Oriolo, Angela P. Schoellig
分类: cs.RO
发布日期: 2025-11-21
💡 一句话要点
SM²ITH：基于任务分层双层MPC的安全移动操作与交互式人类行为预测
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 移动操作 人机交互 模型预测控制 分层控制 人类行为预测
📋 核心要点
- 现有基于优化的分层任务模型预测控制（HTMPC）主要应用于静态或结构化场景，难以应对动态的人机交互环境。
- SM²ITH框架通过双层优化将HTMPC与交互式人类运动预测相结合，同时考虑机器人和人类的动力学，实现安全高效的移动操作。
- 实验结果表明，SM²ITH在不同移动操作机器人和多种人机交互场景中，均优于依赖加权目标或开环人类模型的基线方法。
📝 摘要（中文）
本文提出了一种名为SM²ITH的统一框架，即基于任务分层双层模型预测控制的安全移动操作与交互式人类行为预测。该框架将分层任务模型预测控制（HTMPC）与交互式人类运动预测相结合，通过双层优化同时考虑机器人和人类的动力学。该方法在Stretch 3和Ridgeback-UR10两种不同的移动操作机器人上进行了验证，实验场景包括：（i）具有不同导航和操作优先级的交付任务，（ii）具有不同人类运动预测模型的顺序抓取放置任务，以及（iii）涉及对抗性人类行为的交互。实验结果表明，交互式预测能够实现安全高效的协调，优于依赖加权目标或开环人类模型的基线方法。
🔬 方法详解
问题定义：论文旨在解决移动操作机器人在以人为中心的环境中安全高效地执行复杂导航和操作任务的问题。现有方法，如HTMPC，虽然在静态或结构化环境中表现良好，但缺乏对动态人机交互的有效建模和预测能力，导致在复杂人机协作场景中存在安全隐患和效率瓶颈。
核心思路：论文的核心思路是将HTMPC与交互式人类运动预测相结合，通过双层优化框架，同时考虑机器人和人类的动力学。这种方法能够预测人类对机器人行为的反应，从而使机器人能够规划出更安全、更高效的运动轨迹。
技术框架：SM²ITH框架采用双层模型预测控制结构。上层控制器负责任务级别的规划，确定任务的优先级和顺序。下层控制器则负责运动级别的规划，根据上层控制器的指令和人类运动预测模型，生成机器人的运动轨迹。人类运动预测模型基于观测到的机器人行为，预测人类的未来运动，并将预测结果反馈给下层控制器。
关键创新：该方法最重要的创新点在于将交互式人类运动预测融入到移动操作机器人的控制框架中。通过双层优化，机器人能够预测人类对自身行为的反应，并据此调整自身的运动规划，从而实现更安全、更高效的人机协作。与传统的开环人类模型相比，交互式预测能够更好地捕捉人类行为的动态性和适应性。
关键设计：在双层优化中，上层控制器通常采用混合整数规划等方法，确定任务的优先级和顺序。下层控制器则采用非线性模型预测控制等方法，生成机器人的运动轨迹。人类运动预测模型可以采用各种机器学习方法，如高斯过程回归、隐马尔可夫模型等。关键参数包括预测模型的精度、预测时域的长度、以及优化问题的约束条件等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SM²ITH框架在交付任务、抓取放置任务和对抗性人机交互等场景中均优于基线方法。例如，在对抗性人机交互场景中，SM²ITH能够显著降低碰撞风险，并提高任务完成效率。与依赖开环人类模型的基线方法相比，SM²ITH能够更好地适应人类行为的变化，从而实现更安全、更高效的人机协作。
🎯 应用场景
该研究成果可应用于各种人机协作场景，例如：仓储物流中的机器人拣选和搬运、医疗服务中的机器人辅助护理、以及家庭服务中的机器人助手。通过提高移动操作机器人在动态人机交互环境中的安全性和效率，该研究有望推动人机协作机器人在实际生活中的广泛应用。
📄 摘要（原文）
Mobile manipulators are designed to perform complex sequences of navigation and manipulation tasks in human-centered environments. While recent optimization-based methods such as Hierarchical Task Model Predictive Control (HTMPC) enable efficient multitask execution with strict task priorities, they have so far been applied mainly to static or structured scenarios. Extending these approaches to dynamic human-centered environments requires predictive models that capture how humans react to the actions of the robot. This work introduces Safe Mobile Manipulation with Interactive Human Prediction via Task-Hierarchical Bilevel Model Predictive Control (SM$^2$ITH), a unified framework that combines HTMPC with interactive human motion prediction through bilevel optimization that jointly accounts for robot and human dynamics. The framework is validated on two different mobile manipulators, the Stretch 3 and the Ridgeback-UR10, across three experimental settings: (i) delivery tasks with different navigation and manipulation priorities, (ii) sequential pick-and-place tasks with different human motion prediction models, and (iii) interactions involving adversarial human behavior. Our results highlight how interactive prediction enables safe and efficient coordination, outperforming baselines that rely on weighted objectives or open-loop human models.