BAM! Bayesian Anything Model: a foundation model for generative computational imaging

📄 arXiv: 2609.39660v1 📥 PDF

作者: Alessio Spagnoletti, Charlesquin Kemajou Mbakam, Jonathan Spence, Andrés Almansa, Marcelo Pereyra

分类: cs.CV, stat.ML

发布日期: 2026-09-30

备注: 37 pages, 25 figures

💡 一句话要点

提出BAM模型以解决生成计算成像中的物理意识缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 贝叶斯模型 生成模型 计算成像 物理意识 后验采样 深度学习 图像重建

📋 核心要点

  1. 现有生成模型在贝叶斯计算成像中缺乏物理意识的基础模型，导致偏差和高计算成本。
  2. BAM模型通过将操作条件的重建任何模型（RAM）升级为条件流图，在推理时指定仪器物理，解决了现有方法的局限性。
  3. 在多个数据集上，BAM在仅3步内超越了专门模型和零-shot方法，提升了样本质量并降低了计算成本。

📝 摘要（中文）

生成模型正在改变贝叶斯计算成像领域，但该领域仍缺乏物理意识的基础模型。目前的实践分为两类：大型基础图像模型作为即插即用的先验，使用零-shot近似似然指导，导致显著的偏差和计算成本；而物理意识生成模型则避免了这种偏差，但通常与特定数据集、任务和仪器绑定。本文提出了BAM（贝叶斯任何模型），这是一个轻量级的基础模型，能够进行少步、物理意识的后验采样，能够稳健地推广到未见数据和任务，无需或仅需最小的微调。BAM在FFHQ、AFHQ、LSUN、DIV2K和Kohler相机抖动基准测试中的线性逆问题上，在仅3步内超越了专门模型和领先的零-shot方法，样本质量更高，计算成本却更低。

🔬 方法详解

问题定义：本文旨在解决生成计算成像中缺乏物理意识的基础模型问题。现有方法要么引入显著偏差，要么与特定数据集和任务绑定，限制了其通用性和灵活性。

核心思路：BAM模型的核心思路是通过将操作条件的重建任何模型（RAM）升级为条件流图，使得在推理时可以灵活指定仪器物理，而不是在训练时固定。这种设计使得模型能够在不同任务和数据上进行有效推广。

技术框架：BAM的整体架构包括一个轻量级的网络，具有3600万参数，预训练于大规模图像数据集和前向操作库。该网络能够在少步内进行后验采样，无需近似似然和调优权重。

关键创新：BAM的主要创新在于其将物理意识融入生成模型的能力，使其能够在推理时动态适应不同的物理条件。这一特性使得BAM在样本质量和计算效率上显著优于现有方法。

关键设计：BAM的设计包括使用条件流图来处理物理信息，采用联合预训练策略以提高模型的泛化能力，且在后验采样过程中不依赖于复杂的近似似然计算。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个线性逆问题的实验中，BAM模型在仅3步内超越了专门模型和领先的零-shot方法，样本质量显著提高，且计算成本仅为其一小部分。这一结果展示了BAM在生成计算成像中的强大能力和应用前景。

🎯 应用场景

BAM模型在生成计算成像领域具有广泛的应用潜力，能够用于医学成像、遥感图像处理以及任何需要高质量图像重建的领域。其物理意识的特性使得模型能够适应不同的成像条件，降低训练成本，具有重要的经济和环境价值。

📄 摘要（原文）

Generative models are transforming Bayesian computational imaging, yet the field still lacks physics-aware foundation models. Current practice falls into two camps. Large foundation image models are deployed as plug-and-play priors with zero-shot approximate likelihood guidance, which introduces significant bias and computational cost. Physics-aware generative models avoid this bias, but each is tied to a specific dataset, task and instrument. We introduce BAM (Bayesian Anything Model), a lightweight foundation model for few-step, physics-aware posterior sampling that generalises robustly to unseen data and tasks, zero-shot or with minimal finetuning. BAM upgrades the operator-conditioned Reconstruct Anything Model (RAM) backbone (Terris et al.) into a conditional flow map, so instrument physics is specified at inference time rather than fixed during training. BAM has just 36M parameters and is pre-trained jointly on large image corpora and libraries of forward operators. A single network then draws posterior samples in a few steps, with no likelihood approximation and no guidance weights to tune. Across linear inverse problems on FFHQ, AFHQ, LSUN, DIV2K and the Kohler camera-shake benchmark, BAM outperforms in just 3 steps both specialised models and leading zero-shot methods in sample quality, at a fraction of their computational cost. BAM gives the community an accessible entry point to generative computational imaging, lowers the economic and environmental cost of training imaging models, and opens a new path for research on physics-aware Bayesian computational imaging. Official page: https://bayesian-anything-model.github.io/