Decoupling Action from Egocentric Observation for World Simulation

📄 arXiv: 2610.27946v1 📥 PDF

作者: Yue Ma, Pengjie Song, Xinyu Wang, Yi He, Zeqian Long, Fangneng Zhan, Kaichen Zhou, Hongyu Liu, Hongfa Wang, Peihao Li, Haoyang Huang, Nan Duan, Qifeng Chen

分类: cs.CV

发布日期: 2026-10-20

备注: Accepted by NeurIPS 2026, Project page: https://ego-act.github.io/, Code: https://github.com/mayuelala/EgoACT

💡 一句话要点

提出EgoACT以解决现有自我中心动作转移中的几何估计误差问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心动作转移 视频生成 物理合理性 去噪模型 机器人操作 虚拟现实 多模态学习

📋 核心要点

  1. 现有自我中心动作转移方法依赖几何估计，导致在新场景中难以保持物理合理的交互。
  2. EgoACT通过直接在视频扩散模型的去噪过程中操作，避免了几何估计误差，采用速度引导的结构锚定和稀疏对应校准。
  3. 实验结果显示，EgoACT生成的交互视频在连贯性和物理合理性上显著优于现有强基线，提升效果明显。

📝 摘要（中文）

自我中心动作转移旨在将语义动作与自我中心观察解耦，并在新的视觉上下文中重现这些动作，从而实现可扩展的世界模拟、具身策略学习和机器人数据生成。现有方法依赖条件引导的视频生成，将观察视频转换为显式几何控制（如手部姿势或网格），但这会引入几何估计误差，难以在新场景中保持物理上合理的交互。为了解决这些问题，本文提出了EgoACT，一个在视频扩散模型去噪过程中直接操作的框架，无需额外的几何估计器。EgoACT通过速度引导的结构锚定和稀疏对应校准来稳定手-物体结构，并提高时间一致性和交互现实性。实验结果表明，EgoACT生成的交互视频在连贯性和物理合理性上优于强基线。

🔬 方法详解

问题定义：本文旨在解决自我中心动作转移中存在的几何估计误差问题，现有方法在新场景中难以保持物理合理的交互，导致生成的动作不够真实。

核心思路：EgoACT的核心思路是直接在视频扩散模型的去噪过程中进行操作，避免了对几何估计的依赖，通过稳定手-物体结构和优化局部对应关系来提高生成视频的质量。

技术框架：EgoACT的整体架构包括两个主要模块：速度引导的结构锚定（用于早期去噪阶段）和稀疏对应校准（用于中后期去噪阶段），这两个模块协同工作以保持动作语义的一致性和提高交互的现实性。

关键创新：EgoACT的关键创新在于其不依赖几何估计器的设计，通过直接操作去噪过程来实现动作转移，显著提高了生成视频的物理合理性和时间一致性。

关键设计：在设计中，EgoACT采用了速度引导的结构锚定来稳定手-物体结构，并通过稀疏对应校准来优化局部对应关系，确保生成的动作在不同场景中保持一致性。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EgoACT在生成的交互视频中表现出更高的连贯性和物理合理性，相较于强基线方法，提升幅度显著，具体性能数据在论文中有详细列出，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、虚拟现实和增强现实等场景，能够为这些领域提供更真实的交互模拟，推动智能体在复杂环境中的自主学习与决策能力。未来，EgoACT可能会在多模态学习和人机交互等方面产生深远影响。

📄 摘要（原文）

Egocentric action transfer aims to decouple the semantic action from egocentric observations and reproduce them in new visual contexts, enabling scalable world simulation, embodied policy learning, and robotic data generation. Existing approaches to transferring actions rely on condition-guided video generation, which converts the observation video into explicit geometric controls (e.g., hand poses or meshes) to drive synthesis. However, these methods introduce geometric estimation errors, making it difficult to preserve physically plausible interactions when transferred to new scenes. Alternatively, motion transfer methods directly extract motion patterns from the observation video, yet motion-level features alone cannot encode rich contact dynamics, frequently leading to severe hand structural collapse and implausible contact layout. To address both limitations, we present EgoACT, a test-time framework for egocentric action transfer that operates directly on the denoising process of video diffusion models without requiring additional geometric estimators. EgoACT uses Velocity-guided Structure Anchoring to stabilize reference-consistent hand-object structure in the early denoising stage, and Sparse Correspondence Calibration to refine reliable local correspondences in the mid-to-late denoising stages. Together, these two components preserve transferable action semantics while improving temporal coherence and interaction realism. We further establish EgoActionBench, a benchmark for evaluating action preservation, visual quality, and hand-object plausibility across diverse egocentric manipulation scenarios. Experiments show that EgoACT generates more coherent and physically plausible interaction videos than strong baselines.