Riccati State Space Models: Non-iterative Parallelization for Nonlinear Sequence Modeling
作者: Mónika Farsang, Ramin Hasani, Daniela Rus, Radu Grosu
分类: cs.LG, cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出RiccatiSSM以解决非线性序列建模的并行化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 状态空间模型 非线性建模 Riccati微分方程 并行计算 时间序列预测 动态系统
📋 核心要点
- 现有的非线性递归模型在并行评估时需要迭代线性化，效率较低。
- 提出RiccatiSSM，通过输入条件的Riccati微分方程设计状态依赖的非线性动态，保持组合性。
- RiccatiSSM在长序列任务中实现了22%-33%的运行时间提升，且预测性能具有竞争力。
📝 摘要（中文）
状态空间模型（SSMs）因其仿射状态更新在组合下是封闭的，从而实现高效的序列处理。然而，非线性递归模型虽然能够提供更丰富的状态依赖动态，但通常失去了这种组合结构，导致并行评估需要迭代方法。本文提出RiccatiSSM，一种非线性SSM，其中每个状态维度遵循输入条件的Riccati微分方程。其二次状态依赖性使得局部雅可比矩阵显式依赖于状态，同时在分段常数输入下的精确步骤流为Möbius变换。由于Möbius映射在组合下是封闭的，RiccatiSSM能够通过单次关联并行扫描精确评估完整的非线性状态轨迹，避免了迭代线性化。实验表明，RiccatiSSM在长序列分类、回归和预测任务中表现出竞争力的预测性能，并将运行时间减少了22%-33%。
🔬 方法详解
问题定义：本文旨在解决非线性序列建模中并行化效率低下的问题。现有的非线性递归模型通常需要迭代线性化，导致计算复杂度高，效率低下。
核心思路：提出RiccatiSSM模型，利用输入条件的Riccati微分方程设计状态依赖的动态，确保模型的组合性，从而实现高效的并行评估。
技术框架：RiccatiSSM的整体架构包括状态更新模块和Möbius变换模块。状态更新模块负责根据输入条件计算状态，而Möbius变换模块则通过$2 imes 2$矩阵乘法实现状态轨迹的组合。
关键创新：RiccatiSSM的主要创新在于其状态依赖的非线性动态设计，使得局部雅可比矩阵显式依赖于状态，并通过Möbius变换实现精确的并行评估，避免了迭代线性化的需求。
关键设计：模型采用了约束参数化设计，以确保动态的有界性和收缩性，避免了在分数线性状态更新中出现极点。
🖼️ 关键图片
📊 实验亮点
在长序列分类、回归和预测任务中，RiccatiSSM相比于非线性LrcSSM在相同架构下实现了22%-33%的运行时间提升，同时保持了竞争力的预测性能，展示了其在实际应用中的优势。
🎯 应用场景
RiccatiSSM在长序列数据处理领域具有广泛的应用潜力，尤其是在时间序列预测、金融数据分析和动态系统建模等场景中。其高效的并行处理能力和竞争力的预测性能将推动相关领域的研究与应用发展。
📄 摘要（原文）
State space models (SSMs) achieve efficient sequence processing because their affine state updates are closed under composition and can therefore be evaluated with an associative parallel scan. Nonlinear recurrent models can provide richer, state-dependent dynamics, but generally lose this compositional structure: parallel evaluation then requires iterative methods that repeatedly linearize and scan the recurrence. We ask, what state-dependent nonlinear dynamics can be designed to remain exactly composable? We answer by introducing RiccatiSSM, a nonlinear SSM, in which each state dimension follows an input-conditioned Riccati differential equation. Its quadratic state dependence makes the local Jacobian explicitly state-dependent, while its exact per-step flow under piecewise-constant inputs is a Möbius transformation. Since Möbius maps are closed under composition and compose through $2\times 2$ matrix multiplication, the complete nonlinear state trajectory can be evaluated exactly with a single associative parallel scan, without iterative linearization. We further derive a constrained parameterization that ensures bounded, contractive dynamics, and avoids poles in the fractional-linear state update. Across long-sequence classification, regression, and forecasting tasks, RiccatiSSM achieves competitive predictive performance while reducing runtime by $22{-}33\%$ compared to the nonlinear LrcSSM under matched architectures. These results demonstrate that state-dependent nonlinear dynamics can retain exact composability and be evaluated efficiently within a single parallel scan.