LACMA: Language-Aligning Contrastive Learning with Meta-Actions for Embodied Instruction Following
作者: Cheng-Fu Yang, Yen-Chun Chen, Jianwei Yang, Xiyang Dai, Lu Yuan, Yu-Chiang Frank Wang, Kai-Wei Chang
分类: cs.CL, cs.CV
发布日期: 2023-10-18
备注: EMNLP 2023
🔗 代码/项目: GITHUB
💡 一句话要点
提出LACMA以解决机器人在未见环境中的指令跟随问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 体态指令跟随 对比学习 元动作 Transformer 机器人智能 泛化能力 多模态学习
📋 核心要点
- 现有的端到端Transformer在未见环境中的指令跟随能力不足，主要由于对自然语言指令的细微变化敏感性不足。
- 本文提出通过对比学习显式对齐代理的隐藏状态与指令，并引入元动作概念以缩小高层语言与低层动作之间的语义差距。
- 在ALFRED体态指令跟随任务中，本文方法相比强基线取得了4.5%的绝对成功率提升，展示了良好的泛化能力。
📝 摘要（中文）
端到端的Transformer在已见环境中的体态指令跟随任务中表现出色，但在未见环境中却面临泛化能力不足的问题。为了解决这一问题，本文提出通过对比学习显式地对齐代理的隐藏状态与指令。此外，针对高层语言指令与低层动作空间之间的语义差距，本文引入了元动作的概念，作为更高层次的语义表示。通过将元动作作为额外的训练信号，代理在未见环境中的泛化能力得到了显著提升。与强基线相比，我们在ALFRED体态指令跟随任务中取得了4.5%的绝对成功率提升，表明对比目标和元动作在实现最佳结果方面是互补的。
🔬 方法详解
问题定义：本文旨在解决代理在未见环境中执行体态指令时的泛化能力不足问题。现有方法在训练环境与测试环境之间的差异导致代理对指令的理解和执行存在障碍。
核心思路：通过对比学习显式对齐代理的隐藏状态与指令，以提高代理对自然语言指令的敏感性。同时，引入元动作作为高层语义的表示，帮助代理更好地理解指令的意图。
技术框架：整体架构包括对比学习模块和元动作提取模块。对比学习模块用于优化代理的隐藏状态与指令之间的对齐，而元动作模块则从原始动作序列中提取出高层次的动作模式，作为额外的训练信号。
关键创新：引入元动作的概念是本文的主要创新点，元动作作为普遍的动作模式，能够有效缩小高层语言指令与低层动作空间之间的语义差距，与现有方法相比，提供了更直观的对齐方式。
关键设计：在损失函数中，结合对比损失与元动作的引入，确保代理在训练过程中能够同时优化对指令的理解和对动作的执行。此外，网络结构采用了多模态Transformer，以处理语言和动作之间的复杂关系。
🖼️ 关键图片
📊 实验亮点
在ALFRED体态指令跟随任务中，本文方法相比于强基线取得了4.5%的绝对成功率提升，显示出对比学习和元动作的结合在提高泛化能力方面的有效性。这一结果表明，代理能够更好地对齐其状态与相应指令，适应真实世界的复杂性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、服务机器人和自动驾驶等场景。通过提升机器人在未见环境中的指令跟随能力，能够使其在实际应用中更好地适应复杂多变的环境，提高用户体验和安全性。未来，该方法有望推动更广泛的智能体在真实世界中的应用。
📄 摘要（原文）
End-to-end Transformers have demonstrated an impressive success rate for Embodied Instruction Following when the environment has been seen in training. However, they tend to struggle when deployed in an unseen environment. This lack of generalizability is due to the agent's insensitivity to subtle changes in natural language instructions. To mitigate this issue, we propose explicitly aligning the agent's hidden states with the instructions via contrastive learning. Nevertheless, the semantic gap between high-level language instructions and the agent's low-level action space remains an obstacle. Therefore, we further introduce a novel concept of meta-actions to bridge the gap. Meta-actions are ubiquitous action patterns that can be parsed from the original action sequence. These patterns represent higher-level semantics that are intuitively aligned closer to the instructions. When meta-actions are applied as additional training signals, the agent generalizes better to unseen environments. Compared to a strong multi-modal Transformer baseline, we achieve a significant 4.5% absolute gain in success rate in unseen environments of ALFRED Embodied Instruction Following. Additional analysis shows that the contrastive objective and meta-actions are complementary in achieving the best results, and the resulting agent better aligns its states with corresponding instructions, making it more suitable for real-world embodied agents. The code is available at: https://github.com/joeyy5588/LACMA.