Diffeomorphic Hidden-State Steering: Improving Imitation Learning Policy Robustness through Expert Hidden-State Geometry
作者: KwangBin Lee
分类: cs.RO
发布日期: 2026-10-15
备注: 9 pages, 2 figures
💡 一句话要点
提出微分隐状态引导以提升模仿学习策略的鲁棒性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 隐状态引导 鲁棒性提升 非线性映射 机器人控制
📋 核心要点
- 现有的模仿学习策略在闭环执行中容易受到小的观察或动作误差的影响，导致性能下降。
- 本文提出微分隐状态引导（DHS），通过学习专家隐状态的非线性坐标映射来增强策略的鲁棒性。
- 在四个模拟任务中，DHS显著提高了在观察噪声下的成功率，且与传统方法相比表现更佳。
📝 摘要（中文）
小的观察或动作误差在闭环执行中可能会累积并干扰训练好的模仿学习策略。本文研究了原始专家演示是否可以通过测试时的隐状态引导来提高鲁棒性，而无需额外的演示或策略重训练。分析发现，专家隐状态的变化集中在相对少数的维度上，而捕捉这种变化的方向在不同区域之间存在差异。基于这种几何特性，提出了微分隐状态引导（DHS），该方法通过重放演示获得的专家隐状态学习可逆的非线性坐标映射。DHS对低专家方差的坐标进行更强的衰减，然后将修改后的坐标映射回隐状态空间。这使得引导方向可以根据当前隐状态变化，同时保留每个坐标。在四个模拟操作任务中，DHS在观察噪声下提高了成功率，相较于未修改的Transformer策略，学习的非线性坐标在困难投影和全秩重缩放下也表现出更高的成功率。将DHS与动作平滑结合，在某些任务中相比单独使用动作平滑提高了成功率。
🔬 方法详解
问题定义：本文旨在解决模仿学习策略在闭环执行中因小误差累积而导致的鲁棒性不足问题。现有方法在面对观察噪声时表现不佳，无法有效应对环境变化。
核心思路：提出微分隐状态引导（DHS），通过学习专家隐状态的几何特性，设计可逆的非线性坐标映射，从而在测试时动态调整策略。该方法不需要额外的演示或重训练，直接利用已有的专家数据。
技术框架：DHS的整体架构包括三个主要模块：首先，通过重放专家演示获取隐状态；其次，学习一个非线性坐标映射，调整低方差坐标的影响；最后，将修改后的坐标映射回隐状态空间，以实现动态引导。
关键创新：DHS的核心创新在于其引入的非线性坐标映射，能够根据隐状态的变化自适应调整引导方向。这一方法与传统的线性映射方法相比，能够更有效地捕捉专家隐状态的几何特性。
关键设计：在DHS中，设计了针对低方差坐标的强衰减机制，并采用了特定的损失函数以优化坐标映射的学习过程。网络结构上，DHS使用了深度神经网络来实现非线性映射，确保了高维数据的有效处理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DHS在四个模拟操作任务中显著提高了在观察噪声下的成功率，相较于未修改的Transformer策略，成功率提升幅度明显。此外，DHS与动作平滑结合后，在某些任务中成功率进一步提高，展示了其有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在机器人控制、自动驾驶和人机交互等领域。通过提升模仿学习策略的鲁棒性，可以使得智能系统在复杂和动态环境中更可靠地执行任务，进而推动智能技术的实际应用和发展。
📄 摘要（原文）
Small observation or action errors can compound during closed-loop execution and disrupt a trained imitation learning policy. We study whether the original expert demonstrations can improve robustness through test-time hidden-state steering without additional demonstrations or policy retraining. Our analysis of a trained policy finds that expert hidden-state variation is concentrated in relatively few dimensions, while the directions capturing this variation differ across regions. Motivated by this geometry, we propose Diffeomorphic Hidden-State Steering (DHS), which learns an invertible nonlinear coordinate map from expert hidden states obtained by replaying the demonstrations through the frozen policy. DHS attenuates coordinates with low expert variance more strongly than those with high variance, then maps the modified coordinates back to hidden-state space. This allows steering directions to vary with the current hidden state while retaining every coordinate. Across four simulated manipulation tasks, DHS improves mean success under observation noise over the unmodified Transformer policies. Controlled comparisons yield higher mean success with learned nonlinear coordinates than with linear coordinates under both hard projection and full-rank rescaling. Combining DHS with action smoothing improves mean success rate under observation noise in certain tasks compared with action smoothing alone.