EgoPhys: Estimating Peak Contact Force and Mechanical Work from Egocentric Manipulation Video

📄 arXiv: 2610.11347v1 📥 PDF

作者: Zhuo Dong, Jianhua Yang, Haohao Li, Yumeng Zhao, Keji He, Yan Huang, Liang Wang

分类: cs.CV

发布日期: 2026-10-08

💡 一句话要点

提出EgoPhys以解决从视频中估计接触力和机械功的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 接触力估计 机械功预测 多专家模型 特征融合

📋 核心要点

  1. 现有方法在从视频中估计接触力和机械功时面临挑战，尤其是由于物理交互线索的局限性。
  2. EgoPhys框架通过接触感知空间聚合和目标特定多专家时间路由，整合了多种特征以提高预测精度。
  3. 在Hoi!数据集上，EgoPhys的接触力和机械功预测MAE分别为5.205 N和0.894 J，显著优于现有方法。

📝 摘要（中文）

物理基础的关节物体操作需要理解接触过程中遇到的最大力和运动部件所做的功。接触力和机械功量化了这两个互补方面，但从自我中心视频中估计它们具有挑战性，因为物理交互线索是局部和间接的。为了解决这些挑战，本文提出了EgoPhys，一个仅使用RGB图像的框架，包含接触感知空间聚合（CASA）和目标特定多专家时间路由（TMTR）。CASA整合外观和几何特征以强调与交互相关的线索，而TMTR则通过专门的时间专家建模语义、事件和运动线索，并分别为力和功预测进行路由。在Hoi!数据集的测试分割上，EgoPhys显著提高了接触力和机械功的预测，分别达到了MAE为5.205 ± 0.584 N和0.894 ± 0.081 J。

🔬 方法详解

问题定义：本文旨在从自我中心视频中估计接触力和机械功，现有方法的痛点在于物理交互线索的局限性和间接性，导致预测不准确。

核心思路：EgoPhys通过引入接触感知空间聚合（CASA）和目标特定多专家时间路由（TMTR），有效整合外观、几何和运动特征，以提高对接触力和机械功的预测能力。

技术框架：EgoPhys框架分为两个主要模块：CASA负责整合与交互相关的特征，TMTR则通过多个时间专家分别处理语义、事件和运动线索，以便更好地进行力和功的预测。

关键创新：EgoPhys的创新在于其独特的特征整合和时间路由机制，使得模型能够更精确地捕捉短暂接触事件和持续的力-运动耦合关系，显著提升了预测性能。

关键设计：在模型设计中，CASA模块通过特征融合强调重要的交互线索，而TMTR模块则通过专门的时间专家对不同类型的线索进行独立处理，确保了力和功预测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EgoPhys在Hoi!数据集上的实验结果显示，其接触力预测的平均绝对误差为5.205 N，机械功的平均绝对误差为0.894 J，均显著优于现有方法，展示了其在物理交互理解中的有效性。

🎯 应用场景

EgoPhys的研究成果在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过准确估计接触力和机械功，能够提升机器人与物体交互的能力，进而推动智能制造和人机协作的发展。

📄 摘要（原文）

Physically grounded manipulation of articulated objects requires understanding both the maximum forces encountered during contact and the work performed as their parts move. Peak contact force and mechanical work quantify these complementary aspects, but estimating them from egocentric video is challenging because physical interaction cues are local and indirect. Moreover, peak force is associated with brief contact events, whereas mechanical work depends on force-motion coupling throughout the contact duration. To address these challenges, we propose EgoPhys, an RGB-only framework comprising Contact-Aware Spatial Aggregation (CASA) and Target-Specific Multi-Expert Temporal Routing (TMTR). CASA integrates appearance and geometry features to emphasize interaction-relevant cues, while TMTR models semantic, event, and motion cues with specialized temporal experts and routes them separately for force and work prediction. On the test split from Hoi! dataset, EgoPhys substantially improves predictions of peak force and mechanical work, achieving MAEs of (5.205 \pm 0.584) $N$ and $0.894 \pm 0.081$ $J$, respectively.