Variance-Reduced Model Predictive Path Integral via Quadratic Model Approximation

📄 arXiv: 2602.03639v1 📥 PDF

作者: Fabian Schramm, Franki Nguimatsia Tiofack, Nicolas Perrin-Gilbert, Marc Toussaint, Justin Carpentier

分类: cs.RO

发布日期: 2026-02-03

💡 一句话要点

提出基于二次模型近似的方差缩减MPPI方法，提升采样效率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 模型预测控制 路径积分 方差缩减 二次近似 采样效率

📋 核心要点

  1. 传统MPPI方法采样效率低，方差大，限制了其在实际问题中的应用。
  2. 将目标函数分解为近似模型和残差项，利用二次近似构建模型引导的先验分布。
  3. 实验表明，该方法在低样本情况下收敛更快，性能优于标准MPPI。

📝 摘要（中文）

本文提出了一种混合方差缩减的模型预测路径积分(MPPI)框架，该框架将先验模型集成到采样过程中，以应对MPPI方法中普遍存在的高方差和低采样效率问题。核心思想是将目标函数分解为已知的近似模型和残差项。由于残差仅捕获模型与目标之间的差异，因此通常比原始目标函数具有更小的幅度和更低的方差。虽然该原则适用于一般的建模选择，但本文证明采用二次近似可以推导出闭式、模型引导的先验，从而有效地将样本集中在信息丰富的区域。该框架与几何信息的来源无关，允许从精确导数、结构近似（例如，高斯或拟牛顿）或无梯度随机平滑构建二次模型。在标准优化基准、非线性欠驱动倒立摆控制任务以及具有非光滑动力学的接触丰富的操作问题上验证了该方法。结果表明，与标准MPPI相比，该方法在低样本情况下实现了更快的收敛和更优越的性能。这些结果表明，该方法可以使基于采样的控制策略在获取样本成本高昂或受限的情况下更具实用性。

🔬 方法详解

问题定义：模型预测路径积分(MPPI)方法是一种基于采样的控制方法，它通过对可能的轨迹进行采样来找到最优控制策略。然而，由于采样过程的随机性，MPPI方法通常具有较高的方差，需要大量的样本才能获得较好的性能。这限制了其在样本获取成本高昂或受限的实际问题中的应用。

核心思路：本文的核心思路是将目标函数分解为两部分：一个已知的近似模型和一个残差项。近似模型捕捉了目标函数的主要特征，而残差项则表示模型与真实目标之间的差异。通过利用近似模型来引导采样过程，可以有效地降低采样方差，提高采样效率。具体来说，本文采用二次近似作为近似模型，并推导出相应的闭式先验分布。

技术框架：该方法的技术框架主要包括以下几个步骤：1. 构建目标函数的二次近似模型。2. 基于二次近似模型推导闭式先验分布。3. 从先验分布中采样轨迹。4. 使用残差项对采样轨迹进行加权。5. 根据加权后的轨迹更新控制策略。该框架的关键在于如何构建有效的二次近似模型和如何推导相应的闭式先验分布。

关键创新：本文最重要的技术创新点在于提出了一种基于二次模型近似的方差缩减MPPI方法。与传统的MPPI方法相比，该方法利用近似模型来引导采样过程，从而有效地降低了采样方差，提高了采样效率。此外，该方法还具有通用性，可以应用于各种不同的控制问题。

关键设计：本文的关键设计包括：1. 使用二次近似作为近似模型，这使得可以推导出闭式先验分布。2. 使用残差项对采样轨迹进行加权，这可以进一步提高控制策略的精度。3. 该框架与几何信息的来源无关，允许从精确导数、结构近似（例如，高斯或拟牛顿）或无梯度随机平滑构建二次模型。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在标准优化基准、非线性欠驱动倒立摆控制任务以及具有非光滑动力学的接触丰富的操作问题上，该方法在低样本情况下实现了比标准MPPI更快的收敛速度和更优越的性能。具体而言，在某些任务上，该方法所需的样本数量比标准MPPI减少了50%以上，同时获得了更高的控制精度。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、运动规划等领域。特别是在样本获取成本高昂或受限的场景下，例如在真实机器人上进行学习或在复杂环境中进行规划，该方法可以显著提高控制策略的学习效率和性能，具有重要的实际应用价值和潜力。

📄 摘要（原文）

Sampling-based controllers, such as Model Predictive Path Integral (MPPI) methods, offer substantial flexibility but often suffer from high variance and low sample efficiency. To address these challenges, we introduce a hybrid variance-reduced MPPI framework that integrates a prior model into the sampling process. Our key insight is to decompose the objective function into a known approximate model and a residual term. Since the residual captures only the discrepancy between the model and the objective, it typically exhibits a smaller magnitude and lower variance than the original objective. Although this principle applies to general modeling choices, we demonstrate that adopting a quadratic approximation enables the derivation of a closed-form, model-guided prior that effectively concentrates samples in informative regions. Crucially, the framework is agnostic to the source of geometric information, allowing the quadratic model to be constructed from exact derivatives, structural approximations (e.g., Gauss- or Quasi-Newton), or gradient-free randomized smoothing. We validate the approach on standard optimization benchmarks, a nonlinear, underactuated cart-pole control task, and a contact-rich manipulation problem with non-smooth dynamics. Across these domains, we achieve faster convergence and superior performance in low-sample regimes compared to standard MPPI. These results suggest that the method can make sample-based control strategies more practical in scenarios where obtaining samples is expensive or limited.