Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots

📄 arXiv: 2604.02911 📥 PDF

作者: Junyang Liang, Yuxuan Liu, Yabin Chang, Junfan Lin, Junkai Ji, Hui Li, Changxin Huang, Jianqiang Li

分类: cs.RO

发布日期: 2026-04-06

💡 一句话要点

DreamTIP：通过学习任务不变性提升四足机器人策略迁移效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 四足机器人 强化学习 世界模型 仿真到真实 任务不变性 策略迁移 机器人控制

📋 核心要点

  1. 四足机器人在复杂地形运动面临仿真与真实环境差异的挑战，传统方法依赖手动特征设计或昂贵的真实环境微调。
  2. DreamTIP框架通过在Dreamer世界模型中学习任务不变性属性，使策略学习对动态变化不敏感的表征，从而提升迁移能力。
  3. 实验表明，DreamTIP在模拟和真实环境中均显著优于现有技术，例如在真实攀爬任务中成功率从10%提升至100%。

📝 摘要（中文）

本文提出DreamTIP框架，通过在Dreamer世界模型中融入任务不变性属性学习，增强四足机器人从仿真到真实的策略迁移能力。DreamTIP借助大型语言模型识别并利用对动态变化具有鲁棒性且跨任务具有强迁移性的任务不变性属性，如接触稳定性和地形间隙，并将这些属性作为辅助预测目标整合到世界模型中，使策略能够学习对底层动态变化不敏感的表征。此外，设计了一种高效的自适应策略，采用混合回放缓冲区和正则化约束，以快速适应真实世界的动态，同时有效缓解表征崩溃和灾难性遗忘。在复杂地形（包括楼梯、攀爬、倾斜和爬行）上的实验表明，DreamTIP在模拟和真实环境中均显著优于现有技术。在八个不同的模拟迁移任务中，平均性能提升了28.1%。在真实世界的攀爬任务中，基线方法的成功率仅为10%，而本文方法达到了100%的成功率。

🔬 方法详解

问题定义：四足机器人需要在各种复杂和动态的地形上实现可靠的运动，但仿真环境与真实环境之间的差异导致策略难以直接迁移。现有方法通常需要手动设计特征或在真实环境中进行昂贵的微调，这些方法泛化性差，且成本高昂。

核心思路：DreamTIP的核心思路是学习任务不变性属性（Task-Invariant Properties），这些属性对动态变化具有鲁棒性，并且在不同任务之间具有很强的迁移性。通过将这些属性融入到世界模型中，可以使策略学习到对底层动态变化不敏感的表征，从而提高策略的泛化能力和迁移效率。

技术框架：DreamTIP框架基于Dreamer世界模型，主要包含以下几个模块：1) 任务不变性属性识别模块：利用大型语言模型识别任务不变性属性，例如接触稳定性和地形间隙。2) 世界模型增强模块：将识别出的任务不变性属性作为辅助预测目标整合到Dreamer世界模型中。3) 策略学习模块：基于增强后的世界模型学习控制策略。4) 快速自适应模块：采用混合回放缓冲区和正则化约束，快速适应真实世界的动态。

关键创新：DreamTIP的关键创新在于：1) 提出了任务不变性属性的概念，并利用大型语言模型自动识别这些属性。2) 将任务不变性属性融入到世界模型中，从而使策略学习到更具泛化性的表征。3) 设计了一种高效的自适应策略，可以快速适应真实世界的动态，同时避免表征崩溃和灾难性遗忘。

关键设计：在世界模型增强模块中，任务不变性属性被用作额外的预测目标，通过最小化预测误差来学习这些属性的表征。在快速自适应模块中，混合回放缓冲区包含仿真数据和少量真实数据，正则化约束用于限制策略在适应过程中的变化幅度，从而避免表征崩溃和灾难性遗忘。损失函数包括世界模型的重构损失、策略的奖励损失、以及任务不变性属性的预测损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DreamTIP在多个复杂地形任务上进行了评估，结果表明其性能显著优于现有技术。在八个不同的模拟迁移任务中，DreamTIP的平均性能提升了28.1%。在真实世界的攀爬任务中，基线方法的成功率仅为10%，而DreamTIP达到了100%的成功率，充分证明了该方法的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于四足机器人的各种实际场景，例如搜救、巡检、物流等。通过提高四足机器人在复杂地形上的运动能力，可以使其在这些场景中发挥更大的作用。此外，该方法还可以推广到其他类型的机器人和任务中，具有重要的应用价值和潜力。

📄 摘要（原文）

Achieving quadruped robot locomotion across diverse and dynamic terrains presents significant challenges, primarily due to the discrepancies between simulation environments and real-world conditions. Traditional sim-to-real transfer methods often rely on manual feature design or costly real-world fine-tuning. To address these limitations, this paper proposes the DreamTIP framework, which incorporates Task-Invariant Properties learning within the Dreamer world model architecture to enhance sim-to-real transfer capabilities. Guided by large language models, DreamTIP identifies and leverages Task-Invariant Properties, such as contact stability and terrain clearance, which exhibit robustness to dynamic variations and strong transferability across tasks. These properties are integrated into the world model as auxiliary prediction targets, enabling the policy to learn representations that are insensitive to underlying dynamic changes. Furthermore, an efficient adaptation strategy is designed, employing a mixed replay buffer and regularization constraints to rapidly calibrate to real-world dynamics while effectively mitigating representation collapse and catastrophic forgetting. Extensive experiments on complex terrains, including Stair, Climb, Tilt, and Crawl, demonstrate that DreamTIP significantly outperforms state-of-the-art baselines in both simulated and real-world environments. Our method achieves an average performance improvement of 28.1% across eight distinct simulated transfer tasks. In the real-world Climb task, the baseline method achieved only a 10\ success rate, whereas our method attained a 100% success rate. These results indicate that incorporating Task-Invariant Properties into Dreamer learning offers a novel solution for achieving robust and transferable robot locomotion.