NeST: Neural Stress Tensor Tomography by leveraging 3D Photoelasticity

📄 arXiv: 2406.10212v2 📥 PDF

作者: Akshat Dave, Tianyi Zhang, Aaron Young, Ramesh Raskar, Wolfgang Heidrich, Ashok Veeraraghavan

分类: cs.CV, cs.GR

发布日期: 2024-06-14 (更新: 2024-06-24)

备注: Project webpage: https://akshatdave.github.io/nest

💡 一句话要点

NeST：利用3D光弹性的神经应力张量层析成像

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光弹性 应力张量层析成像 神经隐式表示 可微渲染 非破坏性检测

📋 核心要点

  1. 现有光弹性技术依赖破坏性2D切片，难以重建物体内部3D应力分布，面临张量层析成像和相位解缠绕的挑战。
  2. NeST提出一种基于合成分析的方法，利用神经隐式表示重建3D应力张量场，并使用可微前向模型联合处理相位解缠绕和张量层析成像。
  3. 实验结果表明，NeST能够重建具有不同形状和力条件的物体的内部应力分布，并展示了虚拟切片和新视角光弹性条纹可视化的应用。

📝 摘要（中文）

光弹性技术通过应力诱导的双折射实现透明物体的全场应力分析。现有技术仅限于2D切片，并且需要破坏性地切割物体。恢复整个物体的内部3D应力分布具有挑战性，因为它涉及求解张量层析成像问题和处理相位缠绕模糊性。我们引入NeST，一种基于合成分析的方法，用于从偏振测量中重建3D应力张量场作为神经隐式表示。我们的关键见解是使用基于Jones演算的可微前向模型联合处理相位解缠绕和张量层析成像。与先前的线性近似不同，我们的非线性模型忠实地匹配真实捕获。我们开发了一种实验性的多轴偏振镜装置来捕获3D光弹性，并通过实验证明NeST可以重建具有不同形状和力条件的物体的内部应力分布。此外，我们展示了应力分析中的新颖应用，例如通过虚拟切割物体来可视化光弹性条纹，以及从看不见的视点查看光弹性条纹。NeST为可扩展的非破坏性3D光弹性分析铺平了道路。

🔬 方法详解

问题定义：论文旨在解决从光弹性测量中非破坏性地重建透明物体内部3D应力张量场的问题。现有方法主要依赖于2D切片，需要破坏物体，且难以处理复杂的3D应力分布。此外，从光弹性数据中提取应力信息涉及到求解张量层析成像问题，并需要解决相位缠绕带来的模糊性。

核心思路：论文的核心思路是采用分析-合成的方法，将3D应力场表示为神经隐式函数，并通过可微渲染的方式，将该隐式函数渲染成光弹性测量结果。通过最小化渲染结果与真实测量之间的差异，可以优化神经隐式函数，从而得到3D应力场的重建结果。这种方法能够联合处理相位解缠绕和张量层析成像问题，避免了传统方法的局限性。

技术框架：NeST的整体框架包括以下几个主要模块：1) 多轴偏振光测量系统，用于获取不同视角的偏振光图像；2) 神经隐式表示模块，使用神经网络将3D空间坐标映射到应力张量；3) Jones演算前向模型，用于模拟光线在应力场中的传播过程，并生成预测的偏振光图像；4) 损失函数，用于衡量预测图像与真实测量之间的差异，并驱动神经网络的优化。

关键创新：NeST的关键创新在于使用神经隐式表示和可微渲染技术，将3D应力场重建问题转化为一个优化问题。与传统的线性近似方法不同，NeST采用非线性模型，能够更准确地模拟光线在应力场中的传播过程。此外，NeST能够联合处理相位解缠绕和张量层析成像问题，避免了传统方法中需要分别处理这两个问题的复杂性。

关键设计：NeST使用MLP（多层感知机）作为神经隐式表示，将3D坐标映射到应力张量。损失函数包括光强损失和偏振态损失，用于衡量预测图像与真实测量之间的差异。Jones演算前向模型根据光线传播路径上的应力张量计算偏振态的变化。为了提高重建质量，论文还采用了多尺度训练策略和正则化项。

📊 实验亮点

实验结果表明，NeST能够准确地重建具有不同形状和力条件的物体的内部应力分布。与传统的2D光弹性方法相比，NeST能够提供更全面的3D应力信息。此外，NeST还展示了虚拟切片和新视角光弹性条纹可视化的能力，为应力分析提供了新的工具。

🎯 应用场景

NeST技术在无损检测、材料科学、工程设计等领域具有广泛的应用前景。它可以用于分析复杂结构的内部应力分布，评估材料的力学性能，优化产品的设计，并预测结构的失效行为。此外，NeST还可以用于虚拟现实和增强现实应用，例如，可以模拟物体在受力情况下的光弹性效应，从而提高用户体验。

📄 摘要（原文）

Photoelasticity enables full-field stress analysis in transparent objects through stress-induced birefringence. Existing techniques are limited to 2D slices and require destructively slicing the object. Recovering the internal 3D stress distribution of the entire object is challenging as it involves solving a tensor tomography problem and handling phase wrapping ambiguities. We introduce NeST, an analysis-by-synthesis approach for reconstructing 3D stress tensor fields as neural implicit representations from polarization measurements. Our key insight is to jointly handle phase unwrapping and tensor tomography using a differentiable forward model based on Jones calculus. Our non-linear model faithfully matches real captures, unlike prior linear approximations. We develop an experimental multi-axis polariscope setup to capture 3D photoelasticity and experimentally demonstrate that NeST reconstructs the internal stress distribution for objects with varying shape and force conditions. Additionally, we showcase novel applications in stress analysis, such as visualizing photoelastic fringes by virtually slicing the object and viewing photoelastic fringes from unseen viewpoints. NeST paves the way for scalable non-destructive 3D photoelastic analysis.