Recursive Projection-Free Identification with Binary-Valued Observations

📄 arXiv: 2412.05136v1 📥 PDF

作者: Tianning Han, Ying Wang, Yanlong Zhao

分类: eess.SY

发布日期: 2024-12-06

💡 一句话要点

提出一种无需投影的递归辨识算法，用于解决二值观测下有限脉冲响应系统的参数辨识问题。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 参数辨识 二值观测 有限脉冲响应系统 递归算法 无投影算法

📋 核心要点

  1. 现有二值观测下FIR系统辨识算法计算复杂度高，主要原因是依赖于投影算子，复杂度通常高于O(n^2)。
  2. 提出一种无需投影的递归辨识算法，通过引入截止系数和自适应加速系数，充分利用先验信息，避免使用投影算子。
  3. 理论证明算法的收敛性，并通过数值实验验证了算法的有效性，对于一阶FIR系统，该扩展算法是渐近有效的。

📝 摘要（中文）

本文研究了低计算复杂度下，二值观测的有限脉冲响应(FIR)系统的参数辨识问题。现有的大多数算法依赖于投影算子，导致计算复杂度远高于O(n^2)。针对此问题，本文提出了一种递归的、无需投影的辨识算法，该算法结合了专门的截止系数以充分利用先验信息，从而消除了对投影算子的需求。该算法被证明是均方收敛和几乎必然收敛的。此外，为了更好地利用先验信息，引入了自适应加速系数，从而实现了O(1/k)的均方收敛速度，与精确观测下的收敛速度相匹配。受Cramer-Rao下界结构的启发，通过设计自适应权重系数，该算法可以扩展为信息矩阵的无投影算法。该扩展被证明对于一阶FIR系统是渐近有效的，仿真表明高阶FIR系统也具有类似的结果。最后，数值例子验证了主要结果。

🔬 方法详解

问题定义：论文旨在解决二值观测下有限脉冲响应(FIR)系统的参数辨识问题。现有算法的主要痛点在于计算复杂度过高，特别是当系统阶数较高时，由于需要使用投影算子进行参数约束，计算量会显著增加，使得实时性应用面临挑战。

核心思路：论文的核心思路是通过设计一种无需投影的递归辨识算法来降低计算复杂度。该算法通过引入截止系数来约束参数估计的范围，并利用自适应加速系数来提高收敛速度，从而在保证辨识精度的前提下，避免了投影操作带来的高计算负担。

技术框架：该算法主要包含以下几个关键模块：1) 参数估计模块：基于递归最小二乘的思想，利用二值观测数据更新系统参数的估计值。2) 截止系数模块：根据先验信息设定参数的取值范围，并利用截止系数将参数估计值限制在该范围内，从而避免参数漂移。3) 自适应加速系数模块：根据观测数据的质量和参数估计的误差，动态调整学习率，加速算法的收敛速度。4) 信息矩阵加权模块（扩展算法）：通过设计自适应权重系数，将算法扩展为信息矩阵的无投影算法，以提高参数估计的效率。

关键创新：该论文最重要的技术创新点在于提出了一种无需投影的递归辨识算法。与现有算法相比，该算法避免了投影操作，从而显著降低了计算复杂度。此外，自适应加速系数的设计也提高了算法的收敛速度，使其能够更快地收敛到真实参数值。

关键设计：截止系数的设计依赖于对系统参数先验信息的准确把握。自适应加速系数的设计则需要权衡收敛速度和稳定性，通常采用基于梯度信息的自适应调整策略。信息矩阵加权模块中的权重系数设计则需要参考Cramer-Rao下界的结构，以实现渐近有效的参数估计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的算法在计算复杂度上优于传统的基于投影的算法，避免了O(n^2)以上的计算量。通过引入自适应加速系数，算法的均方收敛速度达到了O(1/k)，与精确观测下的收敛速度相当。对于一阶FIR系统，扩展算法被证明是渐近有效的，仿真结果表明高阶FIR系统也具有类似的性能。

🎯 应用场景

该研究成果可应用于通信系统、信号处理、控制系统等领域，尤其是在资源受限的嵌入式系统中，例如无线传感器网络、物联网设备等。通过降低计算复杂度，该算法能够实现对FIR系统的实时参数辨识，从而提高系统的性能和可靠性。未来，该算法有望应用于更复杂的系统辨识问题，例如非线性系统、时变系统等。

📄 摘要（原文）

This paper is concerned with parameter identification problem for finite impulse response (FIR) systems with binary-valued observations under low computational complexity. Most of the existing algorithms under binary-valued observations rely on projection operators, which leads to a high computational complexity of much higher than O(n^2). In response, this paper introduces a recursive projection-free identification algorithm that incorporates a specialized cut-off coefficient to fully utilize prior information, thereby eliminating the need for projection operators. The algorithm is proved to be mean square and almost surely convergent. Furthermore, to better leverage prior information, an adaptive accelerated coefficient is introduced, resulting in a mean square convergence rate of O(1/k) , which matches the convergence rate with accurate observations. Inspired by the structure of the Cramer-Rao lower bound, the algorithm can be extended to an information-matrix projection-free algorithm by designing adaptive weight coefficients. This extension is proved to be asymptotically efficient for first-order FIR systems, with simulations indicating similar results for high order FIR systems. Finally, numerical examples are provided to demonstrate the main results.