Discrete-Time Hybrid Automata Learning: Legged Locomotion Meets Skateboarding

📄 arXiv: 2503.01842v2 📥 PDF

作者: Hang Liu, Sangli Teng, Ben Liu, Wei Zhang, Maani Ghaffari

分类: cs.RO

发布日期: 2025-03-03 (更新: 2025-04-06)

💡 一句话要点

提出DHAL框架，解决无轨迹分割的离散时间混合自动机学习问题，应用于四足机器人滑板任务。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 混合动力系统 强化学习 机器人控制 模式识别 四足机器人

📋 核心要点

  1. 现有方法在学习高维机器人动力学时，依赖轨迹分割或事件函数，这限制了其在复杂任务中的应用。
  2. DHAL框架通过直接学习离散时间混合自动机，无需预先分割轨迹或学习事件函数，实现模式切换的识别和执行。
  3. 在四足机器人滑板任务中，DHAL展现了强大的性能和模式识别能力，并在真实世界测试中得到验证。

📝 摘要（中文）

混合动力系统包含连续流动和离散模式切换，可用于建模机器人任务，如腿式机器人运动。基于模型的方法通常依赖于预定义的步态，而无模型方法缺乏显式的模式切换知识。现有方法在回归连续流动之前通过分割来识别离散模式，但学习没有轨迹标签或分割的高维复杂刚体动力学是一个具有挑战性的开放问题。本文介绍了一种离散时间混合自动机学习（DHAL）框架，用于识别和执行模式切换，而无需轨迹分割或事件函数学习。此外，我们将其嵌入到强化学习流程中，并结合了beta策略分布和多评论家架构来建模接触引导的运动，以一个具有挑战性的四足机器人滑板任务为例。我们通过充分的真实世界测试验证了我们的方法，证明了混合动力系统中稳健的性能和与人类直觉一致的模式识别。

🔬 方法详解

问题定义：现有方法在学习混合动力系统时，通常需要预先进行轨迹分割或学习事件函数来识别离散模式。然而，在高维、复杂的刚体动力学系统中，获取准确的轨迹标签或事件函数非常困难。因此，如何在没有轨迹分割或事件函数的情况下，有效地学习和控制混合动力系统是一个关键问题。

核心思路：DHAL的核心思路是直接学习离散时间混合自动机，从而避免了对轨迹进行预先分割的需求。通过将模式识别和控制策略学习集成到一个统一的框架中，DHAL能够自动地发现和利用系统中的离散模式，从而实现更高效和鲁棒的控制。

技术框架：DHAL框架主要包含以下几个模块：1) 状态表示模块，用于将机器人的状态信息编码成适合学习的表示；2) 策略网络，用于学习在不同模式下的控制策略，采用beta分布进行策略建模；3) 评论家网络，采用多评论家架构，用于评估当前策略的性能；4) 模式识别模块，用于自动识别系统中的离散模式，并学习模式之间的切换规则。整个框架通过强化学习进行训练，目标是最大化机器人在任务中的奖励。

关键创新：DHAL最重要的技术创新在于它能够直接学习离散时间混合自动机，而无需进行轨迹分割或事件函数学习。这使得DHAL能够应用于更广泛的混合动力系统，并且能够更好地处理高维、复杂的动力学系统。此外，DHAL还采用了beta策略分布和多评论家架构，进一步提高了学习的效率和鲁棒性。

关键设计：DHAL的关键设计包括：1) 使用beta分布来建模策略，这使得策略能够更好地适应不同的模式；2) 采用多评论家架构，这能够更准确地评估策略的性能，并减少过拟合的风险；3) 设计合适的奖励函数，以引导机器人学习期望的行为；4) 精心选择网络结构和超参数，以保证学习的稳定性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DHAL在四足机器人滑板任务中表现出色，成功地实现了机器人在滑板上的稳定运动和转向。实验结果表明，DHAL能够自动识别出滑板任务中的关键模式，例如：推板、平衡、转向等，并且能够学习到有效的控制策略。与传统的基于步态的方法相比，DHAL具有更强的适应性和鲁棒性，能够在不同的滑板速度和地形条件下保持稳定的运动。

🎯 应用场景

DHAL框架具有广泛的应用前景，可以应用于各种需要模式切换的机器人任务，例如：四足机器人的复杂地形行走、人形机器人的运动控制、以及其他具有离散状态切换的混合动力系统。该研究的实际价值在于降低了混合动力系统控制的难度，提高了控制的鲁棒性和效率。未来，DHAL有望应用于更复杂的机器人任务，例如：机器人辅助医疗、智能制造等。

📄 摘要（原文）

Hybrid dynamical systems, which include continuous flow and discrete mode switching, can model robotics tasks like legged robot locomotion. Model-based methods usually depend on predefined gaits, while model-free approaches lack explicit mode-switching knowledge. Current methods identify discrete modes via segmentation before regressing continuous flow, but learning high-dimensional complex rigid body dynamics without trajectory labels or segmentation is a challenging open problem. This paper introduces Discrete-time Hybrid Automata Learning (DHAL), a framework to identify and execute mode-switching without trajectory segmentation or event function learning. Besides, we embedded it in reinforcement learning pipeline and incorporates a beta policy distribution and a multi-critic architecture to model contact-guided motions, exemplified by a challenging quadrupedal robot skateboard task. We validate our method through sufficient real-world tests, demonstrating robust performance and mode identification consistent with human intuition in hybrid dynamical systems.