PredActor: Predictive Action Diffusion for Steerable Onboard Humanoid Control
作者: Lei Ye, Haibo Gao, Yitang Li, Peng Xu, Zetong Jing, Junhan Sun, Fanrong Dong, Ziqi Han, Xue Wang, Jianhua Sun, Cewu Lu, Hao Zhao, Liang Ding
分类: cs.RO, cs.LG
发布日期: 2026-09-21
备注: Project page: https://masteryip.github.io/predactor.github.io/
💡 一句话要点
提出PredActor以解决人形机器人控制中的反馈响应问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 动作生成 扩散模型 反馈控制 本体感知 状态预测 智能控制 自主导航
📋 核心要点
- 现有方法在将扩散模型应用于人形机器人控制时，反馈响应能力不足，难以实现有效的运动生成。
- PredActor通过结合本体感知历史和任务上下文，生成可执行动作和未来状态轨迹，解决了动作生成与状态预测的分离问题。
- 在模拟和物理硬件上，PredActor成功实现文本条件运动，达到15个目标，文本检索评分为0.580，显著优于基线方法。
📝 摘要（中文）
扩散模型提供了灵活的运动生成能力，但将这种灵活性转化为反馈响应的人形机器人控制仍然面临挑战。现有的层次系统通过参考轨迹引导运动，但往往超出独立跟踪器的能力，导致恢复和物理执行主要依赖于跟踪器。本文提出PredActor，一种预测性动作扩散策略，结合了可执行动作和内部未来状态轨迹，利用本体感知观察进行控制。实验表明，PredActor在模拟环境中成功到达所有目标，并在文本检索评分上优于条件动作扩散，且在实际硬件上表现出色。
🔬 方法详解
问题定义：本文旨在解决现有层次控制系统在反馈响应和运动生成中的不足，尤其是在复杂环境下的动作执行与状态预测的分离问题。
核心思路：PredActor通过将动作生成与未来状态预测结合在一起，利用本体感知信息直接生成可执行的动作，避免了对独立跟踪器和全身状态的依赖。
技术框架：PredActor的整体架构包括动作生成模块和状态预测模块，前者基于本体感知历史生成动作，后者则预测未来状态轨迹，二者共同作用于控制策略的执行。
关键创新：PredActor的主要创新在于将动作生成与状态预测无缝整合，形成一个直接执行的策略，显著提高了反馈响应能力和运动灵活性。
关键设计：在设计中，使用了无分类器引导和分类器引导相结合的策略，以增强文本条件行为，同时确保预测状态朝向测试时间目标的引导。
🖼️ 关键图片
📊 实验亮点
在实验中，PredActor成功到达所有15个目标，文本检索评分达到0.580，相较于条件动作扩散的0.373有显著提升。此外，PredActor在Jetson Orin NX上的运行时间优化至16.790毫秒的中位数，确保了控制周期低于20毫秒，表现出色。
🎯 应用场景
PredActor的研究成果在多种应用场景中具有潜在价值，包括人形机器人在复杂环境中的自主导航、交互式任务执行以及人机协作等领域。其灵活的控制策略能够提高机器人在动态环境中的适应能力，推动智能机器人技术的发展。
📄 摘要（原文）
Diffusion models offer flexible motion generation, but translating this flexibility into feedback-responsive humanoid control remains challenging. Hierarchical systems steer motion through references that may exceed a separate tracker's capabilities, leaving recovery and physical execution largely to the tracker. Action-only diffusion generates actions directly but lacks an explicit future-state trajectory for test-time motion objectives. Joint state-action diffusion provides this representation, yet representative controllers often depend on privileged full-body states, and support for learned behavior selection and test-time motion steering remains fragmented. We present PredActor, a predictive action diffusion policy that brings these complementary steering capabilities into one directly executed policy using proprioceptive observations. Conditioned on proprioceptive history and optional task context, PredActor jointly generates executable actions and an internal future-state trajectory. Classifier-free guidance strengthens text-conditioned behavior, while classifier guidance steers predicted states toward test-time objectives. Only actions are executed, without a separate motion-reference tracker or externally estimated full-body states as policy inputs. In simulation, PredActor reaches all 15 destination targets and achieves a text retrieval score of 0.580, compared with 0.373 for conditional action diffusion, with similar observed disturbance survival. To make this guided policy practical onboard, rolling denoising and computation-preserving runtime optimizations reduce the complete callback to 16.790 ms median and 19.383 ms p95 on a Jetson Orin NX, both below the 20 ms control period. We deploy PredActor on a Unitree G1; evaluations across simulation and physical hardware demonstrate text-conditioned motion, disturbance response, joystick control, and semantic interpolation.