SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models
作者: Chengjie Hong, Feixiang He, Yiheng Zeng, Lulu Kang, He Wang
分类: cs.LG, cs.AI
发布日期: 2026-05-18
💡 一句话要点
提出敏感性意识的保真压缩方法以提升物理基础模型性能
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理基础模型 模型压缩 敏感性分析 保真性 AI科学
📋 核心要点
- 现有的模型压缩方法在物理基础模型中应用不足，无法有效保持物理数据的保真性，导致性能下降。
- 本文提出了一种敏感性意识的保真压缩框架，专注于在压缩过程中建模输出函数空间的损失感知层敏感性。
- 实验结果显示，该方法在多个模型和数据集上实现了显著的性能提升，压缩比更高，准确性保持良好。
📝 摘要（中文）
本文提出了一种新的物理基础模型（PFMs）压缩方法，旨在减少内存使用并加速推理，同时保持物理保真性。现有的压缩方法往往忽视物理数据的功能特性，导致性能显著下降。为了解决这一问题，作者引入了一种敏感性意识的保真压缩框架，该框架在压缩过程中显式建模输出函数空间中的损失感知层敏感性。实验结果表明，该方法在多个模型和数据集上显著优于现有方法，实现了更高的压缩比和更好的准确性，推动了科学基础模型在AI科学领域的高效应用。
🔬 方法详解
问题定义：本文旨在解决物理基础模型压缩过程中对物理保真性的损害。现有方法通常忽视物理数据的功能特性，导致压缩后性能显著下降。
核心思路：提出了一种敏感性意识的保真压缩框架，通过建模输出函数空间中的损失感知层敏感性，确保在压缩过程中尽量减少对模型性能的影响。
技术框架：该框架包括多个模块，首先对模型进行敏感性分析，识别关键层；然后在压缩过程中，依据敏感性信息调整压缩策略，最后进行模型重训练以恢复性能。
关键创新：最重要的创新在于引入了敏感性意识的概念，使得压缩过程能够针对不同层的敏感性进行优化，从而有效保持物理模型的准确性和保真性。
关键设计：在设计中，采用了损失函数来量化输出的敏感性，并通过调整压缩比率和重训练策略来优化模型性能，确保压缩后的模型在实际应用中依然具有较高的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在多个基准模型上实现了显著的性能提升，压缩比率提高了数倍，同时保持了模型的准确性，部分情况下准确性甚至提升了几个数量级，超越了现有的压缩技术。
🎯 应用场景
该研究的潜在应用领域包括科学计算、气候模拟、材料科学等领域，能够为大规模物理模型的部署提供高效的解决方案。通过提高模型的压缩效率和保真性，未来可能推动科学研究的快速发展和应用。
📄 摘要（原文）
We propose a new method for compressing physics foundation models (PFMs) which is a new trend in AI for Science. While model compression is essential for reducing memory use and accelerating inference in large foundation models, it remains under-explored for PFMs, where preserving physical fidelity is crucial. The challenge lies in the functional nature of physics data, where partial derivatives encode spatiotemporal dynamics and exhibit high sensitivity to compression. Conventional compression methods ignore this structure, often causing severe performance degradation or failure. To address this, we introduce a sensitivity-aware fidelity-enforcing compression framework that explicitly models loss-aware layer sensitivity in the output function space during compression. This provides a new route to compressing scientific foundation models while preserving accuracy and physical fidelity. Experiments show substantial gains over existing methods across multiple models and datasets, achieving significantly higher compression ratios while maintaining accuracy, in some cases by orders of magnitude. More broadly, the work potentially leads to a new subfield of efficient, deployable, and sustainable scientific foundation models in AI for Science.