Safe Real-Time Policy Steering via Noise-Space Trajectory Optimization for One-Step Generative Policies

📄 arXiv: 2609.21220v1 📥 PDF

作者: Qingyi Chen, Joseph Ruan, Zachary Kingston

分类: cs.RO

发布日期: 2026-09-18

💡 一句话要点

提出INSPO以解决生成策略实时控制中的约束适应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成策略 轨迹优化 实时控制 约束满足 机器人技术 粒子优化 多模态行为

📋 核心要点

  1. 现有的推理时间引导方法在实时控制中计算成本较高，难以适应部署时的约束。
  2. INSPO通过在策略输入噪声空间中进行轨迹优化，提出了一种新的推理时间引导方法。
  3. 实验结果表明，INSPO在任务成功率和约束满足方面优于现有方法，且运行时间更低。

📝 摘要（中文）

生成机器人策略能够表示多样化的多模态行为，但将预训练策略适应于部署时的约束（如避免碰撞和保持方向）仍然具有挑战性。现有的推理时间引导方法通常通过迭代扩散或流动过程应用梯度引导，这在实时控制中计算成本较高。我们提出INSPO，将一阶生成策略的推理时间引导形式化为在策略输入噪声空间中的轨迹优化。通过优化输入噪声并评估诱导状态轨迹上的约束，INSPO在不直接修改生成动作的情况下搜索策略诱导的行为空间。优化包括一个正则化项，鼓励解决方案与策略的输入分布保持一致，并通过基于种群的粒子优化在线求解。我们在基于状态和图像的任务特定策略以及通用视觉-语言-动作策略上评估INSPO，结果表明INSPO在任务成功率和约束满足方面优于最佳N采样和动作投影，并在运行时间上与梯度引导生成方法相比表现良好。

🔬 方法详解

问题定义：本论文旨在解决生成策略在实时控制中适应部署约束（如碰撞避免和方向保持）的挑战。现有方法通常依赖于计算成本较高的梯度引导，难以满足实时性要求。

核心思路：INSPO的核心思路是将推理时间的引导过程转化为在输入噪声空间中的轨迹优化。通过优化输入噪声而非直接修改生成的动作，INSPO能够在保持策略一致性的同时满足约束条件。

技术框架：INSPO的整体架构包括输入噪声的优化、状态轨迹的约束评估以及基于种群的粒子优化。该框架通过在线求解实现实时控制，确保生成的行为符合预设的约束。

关键创新：INSPO的主要创新在于通过输入噪声空间的轨迹优化来实现推理时间的引导，这一方法与传统的梯度引导方法本质上不同，能够更高效地满足实时控制需求。

关键设计：INSPO的优化过程包含一个正则化项，旨在保持解决方案与策略输入分布的一致性。此外，采用基于种群的粒子优化算法来实现在线求解，确保了优化过程的高效性和实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，INSPO在Push-T、Can pick-and-place和LIBERO-Spatial任务中，任务成功率和约束满足率显著高于最佳N采样和动作投影方法。与梯度引导生成相比，INSPO在运行时间上表现出更好的效率，展示了其在实时控制中的优势。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和人机交互等场景。INSPO方法能够有效提高机器人在复杂环境中的任务执行能力，具有重要的实际价值和广泛的应用前景，未来可能推动智能机器人技术的进一步发展。

📄 摘要（原文）

Generative robot policies can represent diverse, multimodal behaviors, but adapting pretrained policies to deployment-time constraints such as collision avoidance and orientation maintenance remains challenging. Existing inference-time steering methods typically apply gradient guidance through iterative diffusion or flow processes, which can be computationally expensive for real-time control. We propose INSPO, which formulates inference-time steering of one-step generative policies as trajectory optimization in the policy's input noise space. By optimizing the input noise while evaluating constraints on the induced state trajectory, INSPO searches the policy-induced behavior space without directly modifying generated actions. The optimization includes a regularization term that encourages solutions to remain consistent with the policy's input distribution and is solved online using population-based particle optimization. We evaluate INSPO on state- and image-based task-specific policies and generalist vision-language-action policies across Push-T, Can pick-and-place, and LIBERO-Spatial. INSPO improves task success and constraint satisfaction over best-of-N sampling and action projection, while comparing favorably with gradient-guided generation at lower runtime.