Bayesian Modeling and Estimation of Linear Time-Variant Systems using Neural Networks and Gaussian Processes
作者: Yaniv Shulman
分类: stat.ML, cs.LG
发布日期: 2025-07-17
💡 一句话要点
提出基于贝叶斯神经网络和高斯过程的线性时变系统建模与估计方法
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 线性时变系统 系统辨识 贝叶斯方法 神经网络 高斯过程 变分推断 不确定性量化
📋 核心要点
- 线性时变系统辨识是一个重要的逆问题，传统方法在数据效率和不确定性量化方面存在不足。
- 论文提出将系统脉冲响应建模为随机过程，分解为后验均值和随机波动，并定义了期望线性时不变系统。
- 实验表明，该框架能从噪声数据中稳健推断LTI系统属性，并在模拟层析成像和LTV跟踪中表现出色。
📝 摘要（中文）
本文提出了一种统一的贝叶斯框架，用于从输入-输出数据中识别线性时变（LTV）系统。该问题是一个具有挑战性的不适定逆问题。该框架将系统的脉冲响应$h(t, τ)$建模为一个随机过程，并将其分解为后验均值和一个随机波动项。这种公式化为量化不确定性提供了一种原则性方法，并自然地定义了一个新的、有用的系统类别，我们称之为期望线性时不变（LTIE）系统。为了进行推断，我们利用了现代机器学习技术，包括贝叶斯神经网络和高斯过程，并使用可扩展的变分推断。通过一系列实验，我们证明了我们的框架可以从单个噪声观测中稳健地推断LTI系统的属性，在模拟环境噪声层析成像问题中显示出优于经典方法的数据效率，并通过使用结构化高斯过程先验成功地跟踪连续变化的LTV脉冲响应。这项工作为动态环境中不确定性感知的系统识别提供了一种灵活而稳健的方法。
🔬 方法详解
问题定义：论文旨在解决线性时变（LTV）系统的辨识问题，即从输入输出数据中估计系统的脉冲响应。这是一个不适定逆问题，传统方法通常需要大量数据，并且难以有效量化估计结果的不确定性。现有方法在处理噪声数据和动态环境时鲁棒性较差。
核心思路：论文的核心思路是将LTV系统的脉冲响应视为一个随机过程，并采用贝叶斯方法进行建模和估计。具体来说，将脉冲响应分解为后验均值和一个随机波动项。后验均值代表系统的期望行为，而随机波动项则捕捉系统随时间变化的特性以及估计的不确定性。这种分解方式不仅可以提高估计的准确性，还可以提供对系统不确定性的量化评估。
技术框架：整体框架包括以下几个主要步骤：1) 使用贝叶斯神经网络（BNN）或高斯过程（GP）对脉冲响应进行建模，其中BNN用于学习复杂的非线性关系，而GP则提供了一种非参数化的建模方法。2) 利用变分推断方法进行后验推断，从而获得脉冲响应的后验分布。3) 将后验分布分解为后验均值和随机波动项，并利用后验均值作为系统辨识的结果。4) 通过实验验证该框架在不同场景下的性能，包括LTI系统辨识、环境噪声层析成像和LTV系统跟踪。
关键创新：论文的关键创新在于：1) 将贝叶斯方法引入LTV系统辨识，提供了一种量化不确定性的原则性方法。2) 提出了期望线性时不变（LTIE）系统的概念，这是一种新的系统类别，可以更好地描述实际系统。3) 利用现代机器学习技术（BNN和GP）进行建模和推断，提高了数据效率和鲁棒性。4) 将脉冲响应分解为后验均值和随机波动项，使得可以更好地理解和分析系统的行为。
关键设计：论文的关键设计包括：1) 使用BNN或GP作为先验模型，其中BNN的网络结构和GP的核函数需要根据具体问题进行选择和调整。2) 使用变分推断方法进行后验推断，需要选择合适的变分分布和优化算法。3) 损失函数的设计需要考虑模型的拟合能力和正则化效果。4) 在LTV系统跟踪中，使用结构化GP先验，例如使用时间相关的核函数，可以更好地捕捉系统随时间变化的特性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架能够从单个噪声观测中稳健地推断LTI系统的属性。在模拟环境噪声层析成像问题中，该方法的数据效率优于经典方法。此外，通过使用结构化高斯过程先验，该框架能够成功地跟踪连续变化的LTV脉冲响应。这些结果验证了该框架在动态环境中进行不确定性感知的系统识别的有效性和鲁棒性。
🎯 应用场景
该研究成果可应用于多个领域，包括声学、振动、控制系统、通信系统和生物医学工程等。例如，在声学领域，可以用于识别房间的脉冲响应，从而进行声场重建和声学优化。在控制系统领域，可以用于辨识动态系统的模型，从而设计更有效的控制器。在生物医学工程领域，可以用于分析生物信号，例如脑电图和心电图，从而诊断疾病。
📄 摘要（原文）
The identification of Linear Time-Variant (LTV) systems from input-output data is a fundamental yet challenging ill-posed inverse problem. This work introduces a unified Bayesian framework that models the system's impulse response, $h(t, τ)$, as a stochastic process. We decompose the response into a posterior mean and a random fluctuation term, a formulation that provides a principled approach for quantifying uncertainty and naturally defines a new, useful system class we term Linear Time-Invariant in Expectation (LTIE). To perform inference, we leverage modern machine learning techniques, including Bayesian neural networks and Gaussian Processes, using scalable variational inference. We demonstrate through a series of experiments that our framework can robustly infer the properties of an LTI system from a single noisy observation, show superior data efficiency compared to classical methods in a simulated ambient noise tomography problem, and successfully track a continuously varying LTV impulse response by using a structured Gaussian Process prior. This work provides a flexible and robust methodology for uncertainty-aware system identification in dynamic environments.