3D Reconstruction of Protein Structures from Multi-view AFM Images using Neural Radiance Fields (NeRFs)

📄 arXiv: 2408.06244v1 📥 PDF

作者: Jaydeep Rade, Ethan Herron, Soumik Sarkar, Anwesha Sarkar, Adarsh Krishnamurthy

分类: cs.CV

发布日期: 2024-08-12

期刊: CVPR 2024 Workshop Deep Learning for Geometric Computing

💡 一句话要点

利用神经辐射场和多视角原子力显微镜图像重建蛋白质复合物3D结构

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 蛋白质结构预测 原子力显微镜 神经辐射场 3D重建 蛋白质复合物 多视角学习 UpFusion模型

📋 核心要点

  1. 现有蛋白质结构预测方法在处理蛋白质复合物时面临挑战，精度有待提高。
  2. 利用原子力显微镜图像，结合预训练的UpFusion模型和神经辐射场，实现蛋白质复合物的3D重建。
  3. 通过虚拟和实际AFM图像验证了UpFusion架构，并分析了不同视角数量对重建效果的影响。

📝 摘要（中文）

本研究探索了原子力显微镜（AFM）结合深度学习预测蛋白质复合物（PCs）的3D结构。现有深度学习方法在预测蛋白质序列和冷冻电镜图像的3D结构方面取得了进展，但在预测蛋白质复合物结构时存在不足。该方法利用AFM生成的高度图，这些高度图描绘了PCs在各种随机方向上的形态，为训练神经网络预测3D结构提供了丰富的信息。研究采用预训练的UpFusion模型（利用条件扩散模型合成新视角）训练特定实例的NeRF模型进行3D重建。通过AFM图像对UpFusion模型进行零样本3D蛋白质结构预测评估。为解决实际AFM图像采集耗时的问题，采用虚拟AFM成像过程，通过体渲染技术将PDB蛋白质文件转换为多视角2D虚拟AFM图像。使用虚拟和实际多视角AFM图像对UpFusion架构进行了广泛验证。结果包括对不同视角数量和不同视角集合预测结构的比较。该方法通过进一步微调UpFusion网络，具有提高蛋白质复合物结构预测准确性的巨大潜力。

🔬 方法详解

问题定义：论文旨在解决蛋白质复合物3D结构预测的问题。现有方法，如基于蛋白质序列或冷冻电镜图像的方法，在处理蛋白质复合物时精度不足，难以准确预测其复杂结构。实际获取高质量的AFM图像耗时且成本高昂，限制了数据量。

核心思路：论文的核心思路是利用原子力显微镜（AFM）图像作为输入，结合神经辐射场（NeRF）进行3D重建。AFM图像提供了蛋白质复合物在不同视角下的高度图信息，为NeRF提供了训练数据。通过预训练的UpFusion模型，可以生成更多视角，从而提高NeRF的重建质量。使用虚拟AFM图像可以解决数据量不足的问题。

技术框架：整体流程包括以下几个阶段：1) 使用虚拟AFM成像过程，将PDB蛋白质文件转换为多视角2D虚拟AFM图像。2) 使用实际AFM图像。3) 使用预训练的UpFusion模型，利用条件扩散模型合成新视角。4) 使用多视角AFM图像训练特定实例的NeRF模型。5) 使用训练好的NeRF模型进行3D重建。

关键创新：关键创新在于将神经辐射场（NeRF）应用于蛋白质复合物的3D结构重建，并结合原子力显微镜（AFM）图像作为输入。此外，利用预训练的UpFusion模型生成更多视角，缓解了AFM图像数据量不足的问题。使用虚拟AFM图像进行训练，降低了数据获取的成本。

关键设计：UpFusion模型使用条件扩散模型来合成新视角。NeRF模型的具体网络结构未知，但其损失函数通常包括重建损失和正则化项。虚拟AFM成像过程使用体渲染技术，需要设置合适的渲染参数，如光照、视角等。实验中比较了不同数量和不同集合的视角对重建效果的影响，以选择最佳的视角组合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过虚拟和实际AFM图像验证了UpFusion架构在蛋白质复合物3D重建中的有效性。实验结果表明，使用多视角AFM图像训练的NeRF模型能够较好地重建蛋白质复合物的3D结构。通过比较不同视角数量和不同视角集合的重建效果，为实际应用中选择合适的AFM成像方案提供了参考。

🎯 应用场景

该研究成果可应用于蛋白质结构生物学领域，帮助研究人员更准确地预测蛋白质复合物的3D结构，从而深入理解其功能和相互作用。这对于药物设计、疾病治疗和生物工程等领域具有重要意义，可以加速新药研发和生物材料的开发。

📄 摘要（原文）

Recent advancements in deep learning for predicting 3D protein structures have shown promise, particularly when leveraging inputs like protein sequences and Cryo-Electron microscopy (Cryo-EM) images. However, these techniques often fall short when predicting the structures of protein complexes (PCs), which involve multiple proteins. In our study, we investigate using atomic force microscopy (AFM) combined with deep learning to predict the 3D structures of PCs. AFM generates height maps that depict the PCs in various random orientations, providing a rich information for training a neural network to predict the 3D structures. We then employ the pre-trained UpFusion model (which utilizes a conditional diffusion model for synthesizing novel views) to train an instance-specific NeRF model for 3D reconstruction. The performance of UpFusion is evaluated through zero-shot predictions of 3D protein structures using AFM images. The challenge, however, lies in the time-intensive and impractical nature of collecting actual AFM images. To address this, we use a virtual AFM imaging process that transforms a `PDB' protein file into multi-view 2D virtual AFM images via volume rendering techniques. We extensively validate the UpFusion architecture using both virtual and actual multi-view AFM images. Our results include a comparison of structures predicted with varying numbers of views and different sets of views. This novel approach holds significant potential for enhancing the accuracy of protein complex structure predictions with further fine-tuning of the UpFusion network.