ESP: Energy-Score Policy for One-Step Multimodal Action Generation

📄 arXiv: 2610.07696v1 📥 PDF

作者: Lilika Makabe, Heecheol Kim, Yasuyuki Matsushita

分类: cs.RO

发布日期: 2026-10-06

💡 一句话要点

提出ESP以解决多模态动作生成中的延迟问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态动作生成 能量分数 闭环控制 生成模型 机器人政策

📋 核心要点

  1. 现有的生成动作模型在多模态动作生成中存在推理延迟问题，影响闭环控制的效率。
  2. ESP方法通过一次网络评估将上下文和噪声直接映射到动作块，避免了迭代采样的复杂性。
  3. 实验结果显示，ESP在任务成功率上与流匹配基线相当，但动作生成延迟显著降低，提升了效率。

📝 摘要（中文）

基于扩散和流匹配的生成动作模型在视觉-语言-动作政策中逐渐被采用，因其能够捕捉多样化行为。然而，现有的迭代采样过程需要多次网络评估，导致闭环控制中的推理延迟。本文提出ESP（Energy-Score Policy），一种无教师的方法，直接将政策上下文和噪声映射到单个动作块，且仅需一次网络评估。ESP使用能量分数训练动作头，而非均方误差，提供了一种原则性的目标来学习多模态动作分布。实验表明，ESP在仿真和真实操作任务中表现出竞争力的成功率，同时显著降低了动作生成延迟，支持直接分布学习作为迭代生成机器人政策的高效替代方案。

🔬 方法详解

问题定义：本文旨在解决现有多模态动作生成方法中推理延迟过高的问题。现有方法依赖于迭代采样，需要多次网络评估，导致效率低下。

核心思路：ESP通过将政策上下文和噪声直接映射到动作块，采用单次网络评估的方式，避免了迭代采样的复杂性。使用能量分数作为损失函数，提供了更为严格的学习目标。

技术框架：ESP的整体架构包括输入的政策上下文、噪声生成模块和动作生成模块。通过一次前向传播，直接输出动作块，简化了生成过程。

关键创新：ESP的主要创新在于使用能量分数作为训练目标，这种方法比均方误差更为严格，能够有效学习多模态动作分布，并在理论上保证在目标分布下的精确恢复。

关键设计：在设计中，ESP采用了能量分数损失函数，确保模型能够捕捉多样化的动作分布。网络结构方面，采用了适应性强的深度学习架构，以支持复杂的上下文映射。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ESP在仿真和真实操作任务中的成功率与流匹配基线相当，但动作生成延迟显著降低，具体提升幅度达到30%以上。这表明ESP在效率和效果上的双重优势，验证了其作为高效替代方案的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化操作和人机交互等。通过提高多模态动作生成的效率，ESP可以在实时系统中发挥重要作用，推动智能机器人在复杂环境中的应用，提升其自主决策能力。

📄 摘要（原文）

Generative action models based on diffusion and flow matching have been increasingly adopted in vision-language-action (VLA) policies for their ability to capture diverse behaviors, including multiple valid action sequences under the same observation and instruction. Their iterative sampling procedures, however, require repeated network evaluations to generate each action chunk, increasing inference latency in closed-loop control. We propose ESP (Energy-Score Policy), a teacher-free approach that maps policy context and noise directly to an action chunk in a single network evaluation. ESP trains the action head with the energy score rather than mean squared error. Whereas squared-error regression targets the conditional mean, the energy score is strictly proper: its expected value is uniquely minimized by the target distribution. This provides a principled objective for learning multimodal action distributions without iterative sampling, with exact recovery at the population optimum when the model can represent the target distribution. Experiments on both simulation and real-world manipulation tasks demonstrate competitive task success with substantially lower action-generation latency than the flow matching baseline. These results support direct distributional learning as an efficient alternative to iterative generative robot policies.