Demonstration-Calibrated Port-Hamiltonian Retuning for Manipulation Policies
作者: Yulong Yang, Fan Wu, Christine Allen-Blanchette, Amit Chakraborty
分类: cs.RO, eess.SY
发布日期: 2026-10-05
💡 一句话要点
提出PHRetune以优化操作策略的控制增益
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 操作策略 控制增益 端口-哈密顿模型 离线学习 机器人操作 性能优化 增益调优
📋 核心要点
- 现有的操作策略控制增益通常是从数据收集中继承，缺乏针对具体任务的优化，导致性能不稳定。
- 论文提出PHRetune，通过学习端口-哈密顿模型，离线推导控制器增益，无需评估回合或增益搜索。
- 实验结果表明，PHRetune在多个真实操作任务中显著提高了策略成功率，且在增益调优方面表现优异。
📝 摘要（中文）
扩散和VLA策略在操作中通常通过下游阻抗控制器部署。控制器的刚度和阻尼增益影响任务成功率，但通常是从数据收集中继承，而非为部署策略选择。尽管经验增益扫描可以提高性能，但需要重复评估。我们提出PHRetune，这是一种离线方法，在不进行评估回合或增益搜索的情况下，为冻结策略推导控制器增益。该方法通过演示学习端口-哈密顿模型，以估计与策略预测动作相关的努力和能量。通过对比演示推导的努力和能量预算，我们以封闭形式推导出单一增益比例，从而调整下游控制器，同时保留策略及其动作表示。PHRetune在LIBERO套件中将扩散策略的成功率提高了最多9.4个百分点，并在所有四个真实世界操作任务中超越了名义策略、其他增益调优方法和策略再训练基线。
🔬 方法详解
问题定义：论文旨在解决现有操作策略控制增益选择不当的问题，现有方法依赖于数据收集，缺乏针对性优化，导致任务成功率不高。
核心思路：PHRetune通过学习演示数据中的端口-哈密顿模型，估计策略预测动作的努力和能量，从而推导出适合的控制增益，避免了传统方法中的重复评估和增益搜索。
技术框架：该方法的整体流程包括：首先从演示中学习端口-哈密顿模型；然后应用策略于记录的演示观察；最后通过对比演示推导的努力和能量预算，推导出控制增益。
关键创新：PHRetune的创新在于其离线推导增益的能力，避免了对操控器模型、任务奖励、策略再训练或额外运行时计算的需求，这与现有方法形成了鲜明对比。
关键设计：在设计中，关键参数包括从演示中提取的努力和能量预算，损失函数用于评估预测与实际之间的差异，确保推导的增益能够有效提升策略性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PHRetune在LIBERO套件中将扩散策略的成功率提高了最多9.4个百分点，并在所有四个真实操作任务中超越了名义策略和其他增益调优方法，展现出显著的性能提升。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在机器人操作、自动化制造和人机协作等领域。通过优化控制增益，能够提升机器人在复杂任务中的表现，降低能耗，提高效率，未来可能推动智能机器人技术的进一步发展。
📄 摘要（原文）
Diffusion and VLA policies for manipulation are often deployed through downstream impedance controllers. The stiffness and damping gains of these controllers affect task success, yet are commonly inherited from data collection rather than selected for the deployed policy. Although empirical gain sweeps can improve performance, they require repeated evaluation rollouts. We introduce PHRetune, an offline method that derives controller gains for a frozen policy without evaluation rollouts or gain search. Our approach learns a port-Hamiltonian model from demonstrations to estimate the effort and energy associated with the policy's predicted actions. The policy is applied to recorded demonstration observations, and its predictions are assessed against demonstration-derived effort and energy budgets. From this comparison, we derive a single gain scale in closed form, adjusting the downstream controller while preserving the policy and its action representation. The gains are fixed before evaluation, without requiring a prior manipulator model, task rewards, policy retraining, or additional runtime computation. Across LIBERO suites, PHRetune improves Diffusion Policy success by up to 9.4 percentage points, with the derived gains achieving the highest observed success rates in empirical gain sweeps. On all four real-world manipulation tasks, PHRetuned Diffusion Policy outperforms the nominal policy, alternative gain-tuning methods, and a policy-retraining baseline. The same procedure improves success with SmolVLA and OpenVLA-OFT on every task, while reducing acceleration and jerk for both VLA backbones.