Reflex: Visually Grounded Reactive Humanoid Control
作者: Taoyang Jia, Weikai Huang, Linxin Song, Jared Darlington, Jieyu Zhao, Yue Wang, Jiafei Duan, Zhongzheng Ren, Ranjay Krishna
分类: cs.RO
发布日期: 2026-10-08
备注: 12 pages, 5 figures
💡 一句话要点
提出Reflex框架以解决类人机器人视觉反应控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 类人机器人 视觉反应控制 动态物体捕捉 强化学习 自我视角感知 物体动态推断 机器人技术 人机协作
📋 核心要点
- 现有系统在类人机器人视觉反应控制中存在不足，无法有效协调全身控制与实时物体动态反应。
- Reflex框架通过三个阶段学习全身接球能力，动态推断及视觉动态表示，提升了学习的可扩展性。
- 在模拟实验中，Reflex的接球成功率达到85.7%，在实际应用中也取得了显著的成功率，接近人类水平。
📝 摘要（中文）
人类能够迅速反应于周围环境，完成如接球、避让等动作。然而，类人机器人在视觉反应全身控制方面仍面临挑战，包括协调全身控制、实时反应物体动态及基于自我视角的感知。本文提出Reflex框架，通过三个阶段逐步学习这些能力，并通过紧凑的物体动态表示将其连接。实验表明，Reflex在模拟环境中实现了85.7%的接球成功率，并在实际环境中表现出65%和40%的成功率，显示出其在动态物体捕捉任务中的有效性。
🔬 方法详解
问题定义：本文旨在解决类人机器人在动态环境中进行视觉反应控制的挑战，现有方法多依赖于末端执行器或运动捕捉，无法全面应对复杂的物体动态。
核心思路：Reflex框架通过分阶段学习，逐步掌握全身接球、动态推断和视觉动态表示，从而实现高效的视觉反应控制。这样的设计使得每个能力模块都能获得直接的训练信号，提升了学习的效率和可扩展性。
技术框架：Reflex框架分为三个主要阶段：第一阶段使用强化学习训练全身接球策略；第二阶段推断移动物体的动态，处理延迟和不完整的观测；第三阶段通过自我视角的RGB-D编码器直接从视觉观测中恢复动态表示。
关键创新：Reflex的最大创新在于其通过紧凑的物体动态表示将各个学习阶段连接起来，使得类人机器人能够在复杂环境中进行快速反应。这一方法与现有依赖于标记物体或运动捕捉的系统本质上不同。
关键设计：在训练过程中，采用了状态基础的策略和强化学习算法，同时设计了适应延迟观测的动态推断机制，确保了全身控制的协调性和实时性。
🖼️ 关键图片
📊 实验亮点
在模拟实验中，Reflex框架实现了85.7%的接球成功率，相较于仅依赖特权物体观测的87.9%成功率，表现出良好的接近性。在实际测试中，Reflex在2.5米和5米距离下分别达到了65%和40%的成功率，接近人类捕捉者的表现，显示出其在动态物体捕捉中的有效性。
🎯 应用场景
该研究的潜在应用场景包括服务机器人、救援机器人及人机协作等领域。通过提升类人机器人在动态环境中的反应能力，能够显著增强其在复杂任务中的实用性和安全性，未来可能推动智能机器人在日常生活中的广泛应用。
📄 摘要（原文）
Humans effortlessly react to the world; they adeptly return a tennis shot, catch a falling cup, step aside from a passing cart, or pass a box tossed during truck unloading. These everyday actions require anticipating a moving target and reflexively responding with the whole body within about a second. Such visual reactive whole-body control remains challenging for humanoids, which must (1) coordinate whole-body control, (2) react to object dynamics in real time, and (3) ground perception in egocentric vision. We study catching thrown boxes as a representative task that demands all three capabilities; existing systems cover only part of it, relying on end-effectors, motion capture, or marked objects. We present Reflex, a three-stage framework that learns these capabilities stage by stage while connecting them through a compact representation of object dynamics. First, a state-based policy learns whole-body catching with reinforcement learning. Second, the policy learns to infer the dynamics of a moving box from delayed and incomplete observations. Third, an egocentric RGB-D encoder learns to recover this dynamics representation directly from visual observations while keeping the whole-body controller fixed. This decomposition provides each capability with a direct training signal and makes visual learning substantially more scalable. In simulation, Reflex achieves 85.7% catch success from egocentric RGB-D, compared with 87.9% when given privileged box observations. Temporal visual history is critical: removing it reduces success by 35.6 and 39.8 points on centered and laterally offset throws. On a real Unitree G1, Reflex catches human-thrown boxes with 65% and 40% success at 2.5 and 5 m, reaching 76% and 59% of human catchers' success at the same distances.