Sample, Simulate, Select: Physics-in-the-Loop Text-to-Motion for Humanoids Without Training
作者: Raphael Memmesheimer, Sven Behnke
分类: cs.RO, cs.CV
发布日期: 2026-09-22
备注: 8 pages, 9 figures, 5 tables
💡 一句话要点
提出S$^3$方法以解决无训练的人形机器人动态控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 文本到运动 人形机器人 动态控制 无训练学习 运动学验证 全刚体动力学 动作选择
📋 核心要点
- 现有文本到运动模型未能考虑机器人的动力学，导致生成的运动在实际执行中不可行。
- 本文提出的S$^3$方法通过将控制器放入循环中，利用无训练的方式生成并选择最佳运动。
- 在实验中，S$^3$在多个测试提示上实现了执行成功率的显著提升，验证了其有效性。
📝 摘要（中文）
文本到运动模型能够生成合理的人类运动，但未能考虑机器人的动力学。现有的全身跟踪控制器虽然能可靠执行机器人参考，但无法重新规划不可行的动作。本文提出的Sample-simulate-select (S$^3$)方法通过将部署控制器纳入循环，评估在无训练情况下的性能。该方法从冻结的文本到运动模型中为每个提示生成N个动作，通过方向匹配逆向运动学将其重定向到Unitree G1，并在全刚体动力学下执行，最终选择执行效果最佳的候选动作。实验结果表明，S$^3$在200个分层HumanML3D测试提示中的执行成功率显著提高，展示了该方法的有效性。
🔬 方法详解
问题定义：本文旨在解决文本到运动模型在生成运动时未考虑机器人动力学的问题。现有方法虽然能够生成合理的人类运动，但在实际执行中常常不可行，导致机器人无法完成预期动作。
核心思路：S$^3$方法的核心在于将部署控制器纳入生成和选择的循环中，通过无训练的方式直接从冻结的文本到运动模型中生成多个候选动作，并通过模拟选择最佳执行结果。
技术框架：S$^3方法的整体流程包括三个主要阶段：首先，从文本到运动模型中为每个提示生成N个动作；其次，利用方向匹配逆向运动学将这些动作重定向到具体的机器人；最后，在全刚体动力学下执行这些动作，并选择表现最佳的候选。
关键创新：S$^3方法的创新在于通过将控制器与模拟器结合，形成一个闭环系统，使得选择过程能够在无训练的情况下达到任何N的上限。这一设计与现有方法的本质区别在于不依赖于额外的训练数据。
关键设计：在实现过程中，采用了预训练的SONIC跟踪策略进行动作的执行，同时在选择过程中引入了一个运动学验证器，以提高选择的准确性。实验中还对重定向器进行了消融实验，以评估其对最终结果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在200个分层HumanML3D测试提示中，S$^3$方法的直立执行率从83.5%提升至89.5%，硬件通过率从33提升至85。在完整测试集（4,184个提示）中，执行率也从80.5%提升至89.5%。这些结果表明，S$^3$方法在无训练情况下显著提高了机器人运动的可行性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在动态环境中的运动控制、交互式机器人系统以及虚拟现实中的角色动画。通过提高机器人在复杂场景中的运动执行能力，能够显著提升人机交互的自然性和流畅性，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Text-to-motion models generate plausible human motion but do not model a robot's dynamics; whole-body tracking controllers execute robot references reliably but cannot replan an infeasible one. Recent language-to-humanoid systems bridge this gap by training. We measure how much of the gap closes with no training at all, by putting the deployment controller itself in the loop. Sample-simulate-select (S$^3$) draws $N$ motions per prompt from a frozen text-to-motion model, retargets each to a Unitree G1 by direction-matching inverse kinematics, rolls all of them out under full rigid-body dynamics with the pretrained SONIC tracking policy, and keeps the candidate the policy executed best. Because the verifier is the deterministic simulator itself, S$^3$ attains the any-of-$N$ ceiling by construction; what we measure is where that ceiling lies and what falls short of it. On 200 stratified HumanML3D test prompts with $N=8$, upright execution rises from 83.5% to 89.5% and hardware-gate passes from 33 to 85; on the complete test split (4,184 prompts) it rises from 80.5% to 89.5%. A kinematic verifier that predicts falls well (AUROC 0.90) recovers only a quarter of this gain: ranking a prompt's own candidates is harder than classifying the population. What selection cannot fix is one class, prompts that lower the pelvis, which a generator trained on retargeted robot data does execute. We further score the semantic fidelity of the executed motion with the standard text-motion evaluator, with a real-mocap control that attributes the loss to the robot projection, ablate the retargeter against GMR (complementary failures: the any-of-8 ceiling rises to 95.0% over both), and execute all 177 gate-selected clips on the real G1: every one completes standing, with hardware tracking error matching simulation ($r=0.94$).