World Action Learning via Interaction-Centric Spectral Latent Guidance

📄 arXiv: 2610.03607v1 📥 PDF

作者: Zhiming Liu, Yikun Miao, Ying Chen, Hongrui Yin, Fangqi Zhu, Xiaoyi Pang, Quanxin Shou, Zhengyang Yan, Haodong Wang, Song Guo

分类: cs.RO

发布日期: 2026-10-02

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出WING框架以解决机器人政策学习中的数据收集难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting)

关键词: 机器人政策学习 第一人称视频 交互知识转移 频谱引导 手-物体交互 真实世界操作 模仿学习 动态行为识别

📋 核心要点

  1. 现有方法在收集机器人演示时面临高成本和难以扩展的问题，尤其是在复杂的交互场景中。
  2. WING框架通过分离观察者运动与手-物体交互，提取交互中心的潜在动作，并利用频谱域的低频成分指导机器人行为生成。
  3. 在LIBERO、RoboTwin 2.0和RoboCasa-GR1等数据集上，WING框架的平均成功率分别达到了99.20%、93.80%和57.7%。

📝 摘要（中文）

学习通用机器人政策需要大量真实世界的交互数据，但收集机器人演示既昂贵又难以扩展。第一人称视频提供了丰富的人类交互经验，但直接转移面临挑战。本文提出WING框架，通过分离观察者引起的运动与手-物体交互，提取交互中心的潜在动作，并利用频谱域中的低频成分引导机器人行为生成。WING在多个真实世界的操作任务中表现出色，成功率分别为99.20%、93.80%和57.7%。

🔬 方法详解

问题定义：本文旨在解决从第一人称视频到机器人政策的知识转移问题。现有方法在处理观察者运动和人机行为的时间动态差异时存在困难。

核心思路：WING框架的核心思想是分离观察者引起的运动与手-物体交互，提取出交互中心的潜在动作，并利用频谱域中的低频成分来指导机器人行为生成。这样的设计可以有效减少干扰因素，提高知识转移的准确性。

技术框架：WING的整体架构包括两个主要模块：首先是运动分离模块，用于提取手-物体交互的潜在动作；其次是频谱引导模块，通过识别低频成分来指导机器人行为生成。

关键创新：WING的主要创新在于通过交互中心的频谱引导实现了从人类视频到机器人控制的有效知识转移，这一方法与传统的直接模仿学习方法有本质区别。

关键设计：在技术细节上，WING采用了特定的损失函数来优化潜在动作的提取，并设计了适应性网络结构以适应不同的交互场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WING框架在多个真实世界的操作任务中表现优异，LIBERO数据集的成功率达到99.20%，RoboTwin 2.0为93.80%，RoboCasa-GR1为57.7%。这些结果表明，交互中心的频谱引导在知识转移中具有显著的效果。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过有效地转移人类的交互知识，WING框架能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Learning general-purpose robot policies requires large-scale real-world interaction data, yet collecting robot demonstrations remains expensive and difficult to scale. Egocentric videos offer abundant human interaction experience with task-relevant semantics for robotic manipulation, but direct transfer is challenging for two reasons: latent actions inferred from frame reconstruction can be dominated by nuisance variation such as ego-camera motion, and human and robot behaviors often exhibit different temporal dynamics. We propose WING (World Action Learning via INteraction-Centric Spectral Latent Guidance), a framework for transferring interaction knowledge from egocentric videos to robot policies. WING first separates observer-induced motion from hand-object interaction and distills the interaction-centric component into latent actions. It then exploits the observation that cross-embodiment task semantics are concentrated in slowly varying temporal structures, identifying shared low-frequency components between egocentric latent actions and robot behaviors in the spectral domain and using them to guide action generation. WING achieves average success rates of 99.20% on LIBERO, 93.80% on RoboTwin 2.0, and 57.7% on RoboCasa-GR1, and also performs strongly across four real-world manipulation tasks under diverse generalization settings. These results show that interaction-centric spectral guidance provides an effective and scalable way to transfer physical interaction knowledge from human egocentric video to robot control. Project page: https://mikuz12.github.io/wing/