Amortized Feedback Planning: Turning Model-Based Rollouts into Executable Policies
作者: Jeonggyu Huh
分类: math.OC, eess.SY
发布日期: 2026-09-28
💡 一句话要点
提出 amortized feedback planning 以解决闭环规划的高成本问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 闭环规划 贝尔曼梯度 策略存储 机器人控制 自动驾驶 智能制造
📋 核心要点
- 现有闭环规划方法在部署时重复执行成本高昂，限制了其实际应用。
- 本文提出贝尔曼梯度（BG）精炼，通过存储修正后的动作来生成可执行策略，降低重复执行的成本。
- 实验结果显示，BG在非二次推力场景中将演员成本降低了2.47-3.20%，并在执行时间上表现优异。
📝 摘要（中文）
闭环规划考虑了未来依赖观察的动作，但在部署时重复执行可能代价高昂。本文提出的贝尔曼梯度（BG）精炼通过现有的演员区分条件滚动，纠正当前动作，并将结果存储为可执行策略。向后传播重用已部署的未来反馈；在识别的高斯信念模型中，完整的时间范围滚动不需要学习的价值评论。非线性误差递归将二次延续误差、局部修正和策略存储联系起来。实验表明，BG在非二次推力中将演员成本降低了2.47-3.20%，并保持在测试反馈MPC的0.13-0.53%之内。
🔬 方法详解
问题定义：本文解决闭环规划在实际部署中的高成本问题，现有方法在重复执行时效率低下，限制了其应用范围。
核心思路：论文提出的贝尔曼梯度（BG）精炼通过修正当前动作并存储结果，生成可执行的策略，从而降低了闭环规划的执行成本。
技术框架：整体架构包括条件滚动、动作修正和策略存储三个主要模块。首先进行条件滚动以获取未来反馈，然后通过修正当前动作来优化策略，最后将结果存储为可执行策略。
关键创新：最重要的技术创新在于通过贝尔曼梯度精炼实现了条件滚动的高效利用，避免了对学习价值评论的依赖，从而提升了策略的执行效率。
关键设计：在设计中，采用了非线性误差递归来连接二次延续误差与局部修正，确保了策略存储的有效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BG方法在非二次推力场景中将演员成本降低了2.47-3.20%，并且在执行时间上，原始策略在种子-0本地审计中仅需5-6微秒，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等场景，能够有效提升系统的决策效率和执行精度。通过降低闭环规划的成本，未来可能推动更多实时控制系统的应用和发展。
📄 摘要（原文）
Closed-loop planning accounts for future observation-dependent actions but can be expensive to repeat at deployment. Bellman-gradient (BG) refinement differentiates conditional rollouts through an existing actor, corrects the current action, and stores the result in an executable policy. A backward sweep reuses deployed future feedback; full-horizon rollouts in an identified Gaussian belief model need no learned value critic. A nonlinear error recursion links quadratic continuation error, local correction, and policy storage. A controlled non-LQG example exhibits second-order policy accuracy with consistent storage, while ideal affine LQG admits exact backward recovery. In nonquadratic thrust, BG reduces actor cost by 2.47-3.20% and remains within 0.13-0.53% of the tested feedback MPC; original policies execute in 5-6 microseconds in a seed-0 native audit. With matched storage, BG attains competitive plant costs at about one ninth (arm) and one sixtieth (docking) of feedback-teacher-plus-student construction time on one GPU, excluding shared learning and node preparation. Richer common maps substantially narrow some student-BG gaps. These results expose the roles of learned feedback, local correction, and storage in executable control.