ESTHER: Egocentric Stereo Hand Estimation and Reconstruction in the Wild
作者: Hongyu Ma, Hairong Qu, Shiqi Zhao, Yongsong Yang, Peng Yin
分类: cs.CV, cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出ESTHER以解决野外环境下的立体手部估计与重建问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 立体视觉 手部估计 深度学习 增强现实 虚拟现实 鲁棒性 自我中心视觉
📋 核心要点
- 现有方法在真实环境中进行立体手部重建时，缺乏有效的端到端模型和标准化基准，导致性能受限。
- 论文提出的ESTHER模型通过结合立体几何和时间推理，专为可穿戴自我中心立体视觉设计，提升了手部重建的准确性。
- 实验结果表明，ESTHER在准确性和鲁棒性方面超越了现有方法，尤其在处理缺失视图和极端光照条件下表现优异。
📝 摘要（中文）
人类的灵巧性依赖于双眼观察双手的能力：双目视觉提供了精细操作所需的三维度量结构。然而，基于这种信号的度量三维手部重建尚未有端到端模型或野外基准。我们提出了ESTHER模型，其立体几何、时间推理和输出表示均为可穿戴的自我中心立体视觉而设计。该模型在经过标定的标注管道生成的伪标签上进行训练，并构建了ESTHER3D基准，这是一个将大规模野外训练集与真实度量地面真值的运动捕捉测试集配对的自我中心立体手部数据集。实验结果显示该模型在准确性、外部泛化能力及对缺失视图、丢帧、光照和运动模糊等极端情况的鲁棒性上均优于现有方法。
🔬 方法详解
问题定义：本论文旨在解决在真实环境中进行的立体手部估计与重建问题。现有方法缺乏有效的端到端模型，且在野外环境下的鲁棒性不足，导致性能下降。
核心思路：论文提出的ESTHER模型结合了立体几何、时间推理和特定的输出表示，旨在通过可穿戴自我中心立体视觉来提升手部重建的精度和鲁棒性。这样的设计使得模型能够更好地适应不同的立体设备和模式。
技术框架：ESTHER模型的整体架构包括三个主要模块：立体几何模块用于处理双目视觉信息，时间推理模块用于捕捉动态变化，输出表示模块则负责生成最终的手部重建结果。模型在伪标签上进行训练，构建了ESTHER3D数据集。
关键创新：ESTHER的主要创新在于其立体引导机制，使得模型能够将表观手部尺度与度量深度绑定，从而在不同的立体设备上实现最小的微调，并在单目视图下仍能保持真实的度量尺度。
关键设计：模型采用了特定的损失函数以优化重建精度，并在网络结构上进行了调整，以增强对缺失视图和极端光照条件的适应能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ESTHER模型在手部重建任务中达到了最先进的准确性，尤其在处理缺失视图和极端光照条件下的鲁棒性显著提升。与现有方法相比，ESTHER在准确性上提升了XX%，并在外部泛化能力上表现出色。
🎯 应用场景
该研究在机器人、增强现实（AR）和虚拟现实（VR）等领域具有广泛的应用潜力。通过实现高精度的手部重建，ESTHER可以提升人机交互的自然性和灵活性，推动智能设备的智能化发展，尤其是在需要精细操作的场景中。
📄 摘要（原文）
Human dexterity is guided by two eyes watching two hands: binocular vision supplies the metric 3D structure that fine-grained manipulation consumes. Egocentric stereo is therefore the natural perceptual interface for robots, AR, and VR-yet metric 3D hand reconstruction from this very signal still has neither an end-to-end model nor an in-the-wild benchmark. We propose ESTHER, a model whose stereo geometry, temporal reasoning, and output representation are designed for wearable egocentric stereo. It is trained on pseudo-labels from a calibrated labeling pipeline and in turn assembles our benchmark ESTHER3D, an egocentric stereo hand dataset pairing a large in-the-wild training set of model-generated labels with a motion capture test set of true metric ground truth. Experiments show state-of-the-art accu?racy, superior external generalization, and robustness to the missing views, dropped frames, and lighting and motion blur extremes of real egocentric capture that break existing meth?ods. This robustness runs deeper than graceful degradation: stereo guidance teaches the model to bind apparent hand scale to metric depth, so it not only adapts to different stereo rigs and modalities with minimal fine-tuning, but more strikingly preserves true metric scale even after collapsing to a single monocular view.