A Noncontact Technique for Wave Measurement Based on Thermal Stereography and Deep Learning

📄 arXiv: 2408.10670v1 📥 PDF

作者: Deyu Li, Longfei Xiao, Handi Wei, Yan Li, Binghua Zhang

分类: cs.CV, eess.IV

发布日期: 2024-08-20

💡 一句话要点

提出基于热立体视觉和深度学习的非接触式波浪测量技术

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 热立体视觉 深度学习 波浪测量 非接触式测量 立体匹配 领域自适应

📋 核心要点

  1. 传统可见光立体视觉在透明、反射水面重建中面临挑战，图像处理和立体匹配难度大。
  2. 利用长波红外成像特性，结合深度学习进行立体匹配，实现非接触式高精度波浪测量。
  3. 实验结果表明，该方法与传统波浪探针测量结果高度一致，平均偏差小于2.1%。

📝 摘要（中文）

在水动力实验和工程应用中，准确测量波场及其时空演变至关重要。双目立体视觉技术已被广泛用于波浪测量。然而，室内水面的光学特性，如透明性、镜面反射和缺乏纹理，给图像处理和立体重建带来了挑战。本研究提出了一种结合热立体视觉和深度学习的新技术，以实现完全非接触式的波浪测量。研究发现，水在长波红外光谱中的光学成像特性适合立体匹配，有效避免了可见光光谱中的问题。在使用热立体相机捕获波浪图像后，提出了一种涉及深度学习技术的重建策略，以提高立体匹配性能。采用生成方法从未标注的红外图像中合成具有真实视差的数据集。然后将该数据集输入到预训练的立体神经网络进行微调，以实现领域自适应。波浪水槽实验验证了该技术的可行性和准确性。最终的重建结果与使用波浪探针获得的测量结果相比，具有很好的一致性和高精度，平均偏差小于2.1%，表明该技术有效地测量了水动力实验中波浪表面的时空分布。

🔬 方法详解

问题定义：传统双目立体视觉在测量水波时，由于水面的透明性、镜面反射以及缺乏纹理等光学特性，导致难以进行准确的图像匹配和三维重建。这限制了其在水动力实验和工程应用中的应用。

核心思路：该论文的核心思路是利用水在长波红外光谱下的光学特性，这种特性更适合立体匹配，可以有效避免可见光下的问题。同时，结合深度学习技术，通过生成合成数据进行模型训练，提高立体匹配的精度和鲁棒性。

技术框架：该方法主要包含以下几个阶段： 1. 使用热立体相机采集波浪图像。 2. 利用生成对抗网络（GAN）从无标注红外图像中生成带有真实视差的合成数据集。 3. 使用合成数据集对预训练的立体匹配神经网络进行微调，实现领域自适应。 4. 使用训练好的神经网络进行立体匹配，重建波浪的三维表面。

关键创新：该方法最重要的创新点在于将热立体视觉与深度学习相结合，克服了传统可见光立体视觉在水波测量中的局限性。通过生成合成数据，解决了红外图像数据标注困难的问题，实现了端到端的非接触式波浪测量。

关键设计：论文中使用了生成对抗网络（GAN）来合成训练数据，具体网络结构未知。损失函数的设计也未知，但可以推测包含重建损失和对抗损失。预训练的立体匹配神经网络的具体结构也未知，但通过微调实现了领域自适应。

📊 实验亮点

实验结果表明，该方法能够准确测量波浪的时空分布，并与传统的波浪探针测量结果进行了对比。结果显示，该方法的平均偏差小于2.1%，表明其具有较高的精度和可靠性。该结果验证了热立体视觉结合深度学习在波浪测量中的有效性。

🎯 应用场景

该技术可应用于水动力实验、海洋工程、海岸线监测、船舶设计等领域。通过非接触式测量波浪的时空分布，可以更准确地分析水流特性、评估结构安全性，并为相关工程设计提供数据支持。未来，该技术有望扩展到更复杂的海洋环境监测和水下目标识别等领域。

📄 摘要（原文）

The accurate measurement of the wave field and its spatiotemporal evolution is essential in many hydrodynamic experiments and engineering applications. The binocular stereo imaging technique has been widely used to measure waves. However, the optical properties of indoor water surfaces, including transparency, specular reflection, and texture absence, pose challenges for image processing and stereo reconstruction. This study proposed a novel technique that combined thermal stereography and deep learning to achieve fully noncontact wave measurements. The optical imaging properties of water in the long-wave infrared spectrum were found to be suitable for stereo matching, effectively avoiding the issues in the visible-light spectrum. After capturing wave images using thermal stereo cameras, a reconstruction strategy involving deep learning techniques was proposed to improve stereo matching performance. A generative approach was employed to synthesize a dataset with ground-truth disparity from unannotated infrared images. This dataset was then fed to a pretrained stereo neural network for fine-tuning to achieve domain adaptation. Wave flume experiments were conducted to validate the feasibility and accuracy of the proposed technique. The final reconstruction results indicated great agreement and high accuracy with a mean bias of less than 2.1% compared with the measurements obtained using wave probes, suggesting that the novel technique effectively measures the spatiotemporal distribution of wave surface in hydrodynamic experiments.