RoboAssist: Interactive Human-Humanoid Planning for Long-Horizon Surgical Assistance
作者: Jingwei Jia, Keyu Zhou, Jiewei Wang, Peisen Xu, Xingyuan Zhou, Liang Wang, Jiming Chen, Gaofeng Li, Jin Wang, Shunlei Li
分类: cs.RO
发布日期: 2026-09-30
备注: Project Web: https://roboassist.github.io
💡 一句话要点
提出RoboAssist以解决长时间手术辅助中的人机协作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 手术辅助 人机协作 动态规划 安全管理 类人机器人 多模态交互 任务协调
📋 核心要点
- 长时间手术辅助中，现有方法难以有效协调人类与机器人之间的动态交互，且安全性保障不足。
- RoboAssist框架通过不对称双轨表示，实时更新人类过程状态和任务序列，实现高效的任务协调与安全性管理。
- 实验结果显示，RoboAssist在多阶段任务完成率和适应性上优于传统方法，显著降低了计划更新延迟。
📝 摘要（中文）
长时间手术辅助要求类人机器人在规划和执行过程中与不断变化的人类活动协调，同时保持安全性。我们提出了RoboAssist，这是一个基于代理的互动人机规划框架，集成了工作流程推理、任务协调和跨层安全性。其核心是一个不对称的双轨表示，分离了部分观察到的人类过程状态与可执行的机器人任务序列。通过在线更新人类过程估计、场景上下文和任务依赖关系，RoboAssist在工作流程请求变化时重新验证剩余任务序列，仅对受影响的后缀进行重新规划。跨层安全架构结合了预防性导航调节、近距离交接时的反应性调节和独立的全身运行时监督。我们在Unitree G1类人机器人上展示了该框架在多阶段模拟手术辅助场景中的应用，涵盖多模态交互、工具处理、医疗材料运输、导航和安全的人机交接。实验表明多阶段任务的完成和对工作流程请求变化的适应性。
🔬 方法详解
问题定义：本论文旨在解决长时间手术辅助中类人机器人与人类之间的动态协作问题。现有方法在处理人机交互的复杂性和安全性保障方面存在不足，难以适应不断变化的工作流程请求。
核心思路：RoboAssist框架的核心思想是通过不对称的双轨表示，将人类过程状态与机器人任务序列分开处理，从而实现实时的任务协调和安全管理。这种设计使得机器人能够在动态环境中快速适应变化，确保安全性。
技术框架：RoboAssist的整体架构包括三个主要模块：工作流程推理模块、任务协调模块和跨层安全模块。工作流程推理模块负责实时更新人类过程状态，任务协调模块根据更新的信息调整机器人任务序列，而跨层安全模块则确保在执行过程中始终保持安全性。
关键创新：RoboAssist的关键创新在于其不对称双轨表示和跨层安全架构的结合。这一设计使得机器人能够在复杂的手术环境中高效地进行任务规划和执行，显著提升了人机协作的安全性和灵活性。
关键设计：在关键设计方面，RoboAssist采用了动态更新的任务依赖关系和场景上下文，结合预防性和反应性调节策略，确保机器人在近距离交接时的安全性。此外，系统还实现了独立的全身运行时监督，以进一步增强安全保障。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RoboAssist在多阶段任务完成率上显著优于传统方法，能够快速适应工作流程请求的变化。针对全局重新规划的消融实验显示，残余重新规划有效降低了计划更新延迟和后续令牌使用。此外，安全实验验证了在导航、交接和运行时监督方面的互补保护效果。
🎯 应用场景
RoboAssist框架在医疗手术辅助领域具有广泛的应用潜力，能够提升类人机器人在复杂手术环境中的协作能力和安全性。未来，该技术可扩展至其他需要人机协作的领域，如工业自动化和服务机器人等，推动智能机器人技术的发展。
📄 摘要（原文）
Long-horizon surgical assistance requires humanoid robots to coordinate with evolving human activities while maintaining safety across planning and execution. We present RoboAssist, an agent-based framework for interactive human-humanoid planning that integrates workflow reasoning, task coordination, and cross-layer safety. At its core is an asymmetric dual-track representation that separates partially observed human process states from executable robot task sequences. By updating human-process estimates, scene context, and task dependencies online, RoboAssist revalidates the remaining task sequence and replans only the affected suffix when workflow requests change. A cross-layer safety architecture combines preventive navigation regulation, reactive regulation during close-range handover, and independent whole-body runtime supervision. This design couples online task coordination with safety constraints throughout execution. We demonstrate the framework on a Unitree G1 humanoid robot in long-horizon, multi-stage simulated surgical assistance scenarios encompassing multimodal interaction, instrument handling, medical material transport, navigation, and safe human-robot handover. Experiments show multi-stage task completion and adaptation to workflow-request changes. A targeted full-replanning ablation shows that residual replanning reduces plan-update latency and post-update token usage. Separate safety experiments demonstrate complementary protection across navigation, handover, and runtime supervision. Additional results and demonstrations are available online at https://roboassist.github.io.