EgoExo++: Integrating On-demand Exocentric Visuals with 2.5D Ground Surface Estimation for Interactive Teleoperation of Subsea ROVs
作者: Adnan Abdullah, Ruo Chen, Ioannis Rekleitis, Md Jahidul Islam
分类: cs.RO
发布日期: 2024-06-30 (更新: 2025-10-08)
备注: EgoExo++ (Journal extension), V5, metadata updated, 12 pages
💡 一句话要点
EgoExo++：融合按需外视点与2.5D地面估计，提升水下ROV交互式遥操作性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 水下机器人 遥操作 视觉SLAM 外视点合成 2.5D地面估计
📋 核心要点
- 传统水下ROV遥操作依赖第一人称视角，视野受限，难以在复杂环境中精确操控。
- EgoExo++通过视觉SLAM合成第三人称视角，并实时估计2.5D地面，增强操作员的感知和理解。
- 实验表明，EgoExo++提升了操作员的情境感知、导航安全性和任务效率，为共享自主等应用奠定基础。
📝 摘要（中文）
水下ROV（遥控水下机器人）对于海底探索和任务执行至关重要。然而，基于第一人称视角的传统遥操作系统限制了操作员的视野，并降低了在复杂、非结构化水下环境中精确操控的能力。为了解决这个问题，我们提出EgoExo，一种几何驱动的解决方案，集成到视觉SLAM流程中，从第一人称相机视角合成按需第三人称视角。我们提出的框架EgoExo++，超越了2D外视点合成(EgoExo)，并动态地增强了密集的2.5D地面表面估计。它同时将ROV模型渲染到重建的表面上，从而增强了语义感知和深度理解。所涉及的计算是闭式解，仅依赖于第一人称视角和单目SLAM估计，这使其可移植到现有的遥操作引擎中，并且对不同的水体特征具有鲁棒性。我们通过在具有挑战性的低光照条件下进行的2-DOF室内导航和6-DOF水下洞穴探索的大量实验验证了我们方法的几何精度。定量指标证实了渲染的外视点的可靠性，而包含15名操作员的用户研究表明，在遥操作期间，情境感知、导航安全性和任务效率得到了提高。此外，我们强调了EgoExo++增强视觉效果在支持共享自主、操作员培训和具身遥操作中的作用。这种新的ROV遥操作交互方法为水下遥操作领域的未来研究提供了有希望的机会。
🔬 方法详解
问题定义：现有水下ROV遥操作系统主要依赖于ROV上的第一人称视角视频流。这种方式的视野范围有限，操作员难以获得全局环境信息，尤其是在复杂、非结构化的水下环境中，难以进行精确的操控和导航。因此，如何扩展操作员的视野，提升其对环境的感知能力，是亟待解决的问题。
核心思路：EgoExo++的核心思路是利用ROV上的第一人称视角视频流，通过视觉SLAM技术重建周围环境的几何信息，并在此基础上合成第三人称视角（外视点）图像。同时，该方法还动态地估计2.5D地面表面，并将ROV模型渲染到该表面上，从而增强操作员对ROV自身姿态和周围环境的理解。这样，操作员可以从更广阔的视角观察ROV及其周围环境，从而提升操控效率和安全性。
技术框架：EgoExo++框架主要包含以下几个模块：1) 基于第一人称视角视频流的单目视觉SLAM模块，用于估计ROV的位姿和重建环境的稀疏几何信息；2) 2.5D地面表面估计模块，用于从稀疏几何信息中提取并优化地面表面；3) 外视点图像合成模块，用于根据ROV位姿和环境几何信息，渲染出第三人称视角的图像；4) ROV模型渲染模块，用于将ROV模型渲染到2.5D地面表面上，并将其与外视点图像融合。整个流程是实时的，可以动态地更新外视点图像和2.5D地面表面估计。
关键创新：EgoExo++的关键创新在于将按需外视点合成与2.5D地面表面估计相结合。与传统的仅提供第一人称视角或静态外视点的系统相比，EgoExo++能够动态地生成外视点图像，并提供ROV周围环境的几何信息，从而显著提升操作员的感知能力。此外，该方法仅依赖于第一人称视角视频流和单目SLAM估计，无需额外的传感器，具有良好的可移植性和鲁棒性。
关键设计：2.5D地面表面估计模块采用了一种基于RANSAC的平面拟合方法，用于从稀疏点云中提取地面平面。为了提高估计的精度，该方法还采用了迭代最近点（ICP）算法对平面参数进行优化。外视点图像合成模块采用了一种基于深度图像渲染的方法，将环境的几何信息投影到新的视角，并进行纹理映射。ROV模型渲染模块则根据ROV的位姿，将ROV的3D模型投影到2.5D地面表面上，并进行光照和阴影处理，以增强真实感。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EgoExo++能够显著提升水下ROV遥操作的性能。用户研究表明，使用EgoExo++后，操作员的情境感知、导航安全性和任务效率均得到了显著提升。在水下洞穴探索实验中，EgoExo++能够帮助操作员更安全、更高效地完成任务。定量指标也证实了渲染的外视点的几何精度和可靠性。
🎯 应用场景
EgoExo++技术可广泛应用于水下ROV的遥操作领域，例如水下基础设施维护、海底资源勘探、水下救援等。该技术能够提升操作员的操控效率和安全性，降低操作难度，并为共享自主、操作员培训和具身遥操作等高级应用提供支持。未来，该技术有望扩展到其他遥操作场景，例如太空探索、核电站维护等。
📄 摘要（原文）
Underwater ROVs (Remotely Operated Vehicles) are indispensable for subsea exploration and task execution, yet typical teleoperation engines based on egocentric (first-person) video feeds restrict human operators' field-of-view and limit precise maneuvering in complex, unstructured underwater environments. To address this, we propose EgoExo, a geometry-driven solution integrated into a visual SLAM pipeline that synthesizes on-demand exocentric (third-person) views from egocentric camera feeds. Our proposed framework, EgoExo++, extends beyond 2D exocentric view synthesis (EgoExo) to augment a dense 2.5D ground surface estimation on-the-fly. It simultaneously renders the ROV model onto this reconstructed surface, enhancing semantic perception and depth comprehension. The computations involved are closed-form and rely solely on egocentric views and monocular SLAM estimates, which makes it portable across existing teleoperation engines and robust to varying waterbody characteristics. We validate the geometric accuracy of our approach through extensive experiments of 2-DOF indoor navigation and 6-DOF underwater cave exploration in challenging low-light conditions. Quantitative metrics confirm the reliability of the rendered Exo views, while a user study involving 15 operators demonstrates improved situational awareness, navigation safety, and task efficiency during teleoperation. Furthermore, we highlight the role of EgoExo++ augmented visuals in supporting shared autonomy, operator training, and embodied teleoperation. This new interactive approach to ROV teleoperation presents promising opportunities for future research in subsea telerobotics.