AutodidactWAM: Cross-Modal Self-Distillation from Generated Video to Robot Actions

📄 arXiv: 2610.08119v1 📥 PDF

作者: Sergei Kurchev, Iaroslav Kolomiets, Miguel Altamirano Cabrera, Artem Lykov, Dzmitry Tsetserukou

分类: cs.RO

发布日期: 2026-10-06

备注: 8 pages,3 figures, 1 table, ICRA 2027 submitted

💡 一句话要点

提出AutodidactWAM以解决视频与机器人动作不匹配问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 自蒸馏 手势估计 逆向运动学 机器人动作优化 多模态学习 任务执行

📋 核心要点

  1. 现有的世界动作模型在适配新机器人时，生成的视频与动作之间存在不匹配，导致任务执行失败率高。
  2. 提出AutodidactWAM，通过训练手势估计器并结合逆向运动学，从生成的视频中恢复动作估计，优化机器人动作。
  3. 实验结果显示，经过自蒸馏后，机器人在不同任务阶段的成功率显著提升，尤其在预抓取阶段达到75%。

📝 摘要（中文）

世界动作模型（WAMs）如Cosmos 3能够从观察和指令中共同生成未来视频和机器人动作。然而，当将该模型适配到新的机器人（Unitree G1）时，发现视频生成的任务执行看似合理，但共生成的动作却存在系统性偏差。本文提出了AutodidactWAM，通过手势估计器和逆向运动学，从生成的视频中恢复动作估计，显著提高了动作成功率。实验表明，经过自蒸馏后，预抓取、抓取和拾取放置的成功率分别达到约75%、47%和42%，相比原始动作的17%、10%和7%有显著提升。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在适配新机器人时，生成的视频与机器人动作之间的不匹配问题，导致任务执行成功率低下。

核心思路：通过引入手势估计器和逆向运动学，利用生成的视频来恢复更准确的动作估计，从而优化机器人在执行任务时的表现。

技术框架：整体架构包括三个主要模块：手势估计器、逆向运动学模块和自蒸馏训练过程。手势估计器从生成的视频中提取手部姿态，逆向运动学模块则将这些姿态转化为机器人可执行的动作。

关键创新：最重要的创新在于自蒸馏方法的引入，使得在没有额外任务特定的遥控操作情况下，机器人能够通过生成的视频进行自我学习和优化。

关键设计：在训练过程中，采用了混合目标，包括偏好监督、目标拟合和笛卡尔轨迹锚定等技术细节，以确保模型能够有效学习并提高动作成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过自蒸馏后，预抓取、抓取和拾取放置的成功率分别达到约75%、47%和42%，相比原始动作的17%、10%和7%有显著提升。此外，在Oreo训练对象上，预抓取成功率达到90%，全任务成功率为20%。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机交互等场景。通过提高机器人在复杂任务中的执行能力，能够显著提升其在实际应用中的效率和可靠性，未来可能对智能机器人技术的发展产生深远影响。

📄 摘要（原文）

World-action models (WAMs) such as Cosmos 3 jointly generate future video and robot actions from an observation and instruction. Adapting one such model with a lightweight LoRA fine-tune to a previously unseen robot, a Unitree G1 humanoid with five-fingered BrainCo hands, exposes a video-action asymmetry: the video renders plausible task executions, while the co-generated action is systematically mis-targeted. We evaluate closed-loop real-robot trials at three cumulative stages: pre-grasp, grasp, and pick-and-place. The native action succeeds only approximately 17%, 10%, and 7% of the time, respectively, and performs worse on held-out objects. We propose AutodidactWAM, a hand-pose estimator trained without teleoperation, followed by inverse kinematics, that runs on the model's generated video to recover action estimates. Paired with the native prediction, these recovered actions provide preferred targets for fine-tuning only the action-related layers, while the generated video is teacher-forced. We compare supervised relabeling with a rectified-flow adaptation of Diffusion-DPO. After one-time embodiment adaptation, self-distillation requires no additional task-specific teleoperation. The recovered-action gate reaches approximately 75%, 47%, and 42% pre-grasp, grasp, and pick-and-place success, compared with 17%, 10%, and 7% for the native action. A hybrid objective combining preference supervision, supervised target fitting, and Cartesian trajectory anchoring (DPO+SFT+DTW) performs best: on Oreo, the training object, it reaches 90% pre-grasp and 20% full-task success; on a held-out object, it reaches 80% and 30%. Plain Flow-DPO reaches 0% success despite 1.000 validation preference accuracy, indicating that the combination of training objectives, rather than the contrastive objective alone, drives the observed gains.