Learning clusters of partially observed linear dynamical systems
作者: Maryann Rui, Munther A. Dahleh
分类: eess.SY
发布日期: 2025-07-23
备注: This is an extended and updated version of our paper presented at the 2025 American Control Conference (ACC)
💡 一句话要点
提出一种聚类偏观测线性动态系统算法，解决短轨迹下的系统辨识难题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 线性动态系统 系统辨识 聚类算法 偏观测系统 短轨迹学习
📋 核心要点
- 现有方法在短轨迹数据下进行系统辨识面临挑战，因为单个数据源的信息不足。
- 该论文提出先聚类短轨迹的脉冲响应，再联合估计每个聚类的精细模型，利用不同任务的数据需求。
- 论文建立了有限样本保证，并分析了观测系统数量、轨迹长度和模型复杂度之间的权衡关系。
📝 摘要（中文）
本文研究了从多个输入-输出轨迹中学习聚类偏观测线性动态系统的问题。当来自单个数据源的观测有限（例如，短轨迹）时，直接估计具有挑战性。在这种情况下，整合来自多个相关源的数据可以改善学习效果。我们提出了一种估计算法，该算法利用聚类和系统辨识任务的不同数据需求。首先，从单个轨迹估计并聚类短脉冲响应。然后，使用多个轨迹联合估计每个聚类的精细模型。我们为估计马尔可夫参数和状态空间实现建立了端到端的有限样本保证，并强调了观测系统数量、轨迹长度和底层模型复杂度之间的权衡。
🔬 方法详解
问题定义：论文旨在解决从多个短轨迹数据中学习聚类偏观测线性动态系统的问题。传统的系统辨识方法在数据量不足的情况下表现不佳，尤其是在每个系统只有少量观测数据时，难以准确估计系统参数。因此，如何有效地利用多个相关系统的少量数据进行学习是一个关键挑战。
核心思路：论文的核心思路是利用聚类来共享信息，从而克服短轨迹带来的数据稀疏性问题。具体来说，假设存在多个线性动态系统，它们可以被划分为若干个聚类，每个聚类内的系统具有相似的动态特性。通过先对短轨迹进行聚类，然后联合估计每个聚类的系统模型，可以有效地利用多个系统的观测数据，提高系统辨识的准确性。
技术框架：该算法主要包含两个阶段：1) 脉冲响应估计与聚类：首先，从每个系统的短轨迹数据中估计其脉冲响应。然后，使用聚类算法（例如k-means）将具有相似脉冲响应的系统划分为不同的聚类。2) 精细模型联合估计：对于每个聚类，使用该聚类内的所有系统的轨迹数据，联合估计一个精细的线性动态系统模型。这种联合估计可以有效地利用多个系统的观测数据，提高模型估计的准确性。
关键创新：该论文的关键创新在于将聚类和系统辨识相结合，提出了一种适用于短轨迹数据的学习框架。与传统的系统辨识方法相比，该方法能够有效地利用多个相关系统的观测数据，提高系统辨识的准确性。此外，该论文还为估计马尔可夫参数和状态空间实现建立了端到端的有限样本保证，为算法的理论性能提供了保障。
关键设计：在脉冲响应估计阶段，可以使用最小二乘法或其他参数估计方法。聚类算法可以选择k-means或其他适用于时间序列数据的聚类方法。在精细模型联合估计阶段，可以使用最大似然估计或其他优化方法。论文分析了观测系统数量、轨迹长度和模型复杂度之间的权衡关系，为参数选择提供了指导。
🖼️ 关键图片
📊 实验亮点
论文建立了端到端的有限样本保证，证明了算法的收敛性和估计精度。通过仿真实验验证了该算法在短轨迹数据下的有效性，表明该方法能够显著提高系统辨识的准确性，尤其是在数据量有限的情况下。具体的性能提升数据和对比基线在论文中进行了详细的展示。
🎯 应用场景
该研究成果可应用于机器人集群控制、智能交通系统、金融市场建模等领域。例如，在机器人集群控制中，可以利用该方法对具有相似动力学特性的机器人进行分组，并为每个组设计统一的控制策略。在智能交通系统中，可以利用该方法对不同路段的交通流量进行聚类，并为每个聚类设计相应的交通管理方案。该研究有助于提升复杂系统的建模和控制能力。
📄 摘要（原文）
We study the problem of learning clusters of partially observed linear dynamical systems from multiple input-output trajectories. This setting is particularly relevant when there are limited observations (e.g., short trajectories) from individual data sources, making direct estimation challenging. In such cases, incorporating data from multiple related sources can improve learning. We propose an estimation algorithm that leverages different data requirements for the tasks of clustering and system identification. First, short impulse responses are estimated from individual trajectories and clustered. Then, refined models for each cluster are jointly estimated using multiple trajectories. We establish end-to-end finite sample guarantees for estimating Markov parameters and state space realizations and highlight trade-offs among the number of observed systems, the trajectory lengths, and the complexity of the underlying models.