Delay Randomization Widens the Delay Margin of Learned Humanoid Motion Trackers

📄 arXiv: 2610.32277v1 📥 PDF

作者: Shaoqin Li, Yi Sun

分类: cs.RO

发布日期: 2026-10-23

备注: 8 pages, 1 figure

💡 一句话要点

随机化延迟方法提升学习型人形机器人运动跟踪器的延迟裕度

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 运动跟踪 延迟随机化 鲁棒性 深度学习 模拟器验证 控制策略

📋 核心要点

  1. 现有的学习型人形控制器在不同模拟器中的表现差异，尤其是在命令延迟方面，影响了其在真实硬件上的应用。
  2. 论文提出在训练过程中随机化命令延迟，以提高运动跟踪策略在不同延迟条件下的鲁棒性和延迟裕度。
  3. 实验结果表明，随机化延迟显著提高了在40毫秒延迟下的存活率，从15%提升至95%，并扩大了延迟裕度。

📝 摘要（中文）

学习型人形控制器通常在一个模拟器中训练，然后在第二个模拟器中进行验证。本文探讨了命令延迟对运动跟踪的影响。我们为一个24关节的人形机器人训练了五种动作的运动跟踪策略，并在独立的CPU MuJoCo环境中进行了测试。结果显示，在40毫秒的恒定命令延迟下，存活率平均降至15%。而通过在训练中随机化延迟（0-50毫秒），存活率提升至95%，延迟裕度扩大至50-70毫秒。尽管跟踪精度略有下降，但随机化显著提高了系统的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决学习型人形机器人在不同模拟器中表现不一致的问题，尤其是命令延迟对运动跟踪的影响。现有方法在面对延迟时表现不佳，存活率显著下降。

核心思路：论文的核心思路是通过在训练过程中随机化命令延迟，来增强运动跟踪策略的鲁棒性。这种设计旨在使控制器在面对不确定性时表现更好。

技术框架：整体架构包括训练阶段和测试阶段。在训练阶段，使用随机化的延迟（0-50毫秒）进行策略训练；在测试阶段，评估在固定延迟（40毫秒）下的表现。主要模块包括动作采集、策略训练和性能评估。

关键创新：最重要的技术创新点在于引入了延迟随机化的训练方法，这与传统的固定延迟训练方法本质上不同，显著提高了系统的适应性。

关键设计：在训练中，延迟范围设置为0-50毫秒，损失函数采用标准的运动跟踪损失，网络结构为深度神经网络，确保能够处理复杂的运动模式。

📊 实验亮点

实验结果显示，在40毫秒的命令延迟下，随机化训练的策略存活率从15%提升至95%，延迟裕度从20-30毫秒扩展至50-70毫秒。这一提升显著增强了机器人在真实环境中的适应能力。

🎯 应用场景

该研究的潜在应用领域包括人形机器人、自动驾驶、以及其他需要实时控制的机器人系统。通过提高机器人在延迟条件下的鲁棒性，能够更好地适应动态环境，提升人机交互的安全性和可靠性。

📄 摘要（原文）

Learned humanoid controllers are usually trained in one simulator and then checked in a second one before they go near hardware. We ask what that check says about command delay. We train motion-tracking policies for a 24-joint humanoid on five motions taken from monocular video and test them in an independent CPU MuJoCo harness, which we first verify against the training model. Every policy completes its motion in at least 26 of 30 episodes under the training randomization. With 40 ms of constant command delay, however, survival drops to 15% on average (0% - 45%), and the delay margin is only 20 - 30 ms. Randomizing the delay during training (0 - 50 ms) lifts survival at 40 ms to 95% on average (75% - 100%) and moves the margin to 50 - 70 ms. A control arm trained for the same number of extra iterations without delay does not improve, so the gain comes from the randomization itself. This holds for all five motions with three training seeds each, and a policy trained in PhysX behaves the same way. The price is slightly looser tracking (0.02 - 0.06 rad on four motions) and, for the most dynamic motion, less robustness to other perturbations. We also show that the first sim-to-sim gap we saw came from the harness, a missing floor and a wrong timestep, and not from the physics engines. The 0 - 20 ms delay ranges common in locomotion training lie inside the margin an unrandomized tracker already has. The benefit comes from randomizing beyond it, so the range should be set from the robot's measured latency, and delay margin belongs next to other sim-to-sim metrics.