GABRIL: Gaze-Based Regularization for Mitigating Causal Confusion in Imitation Learning

📄 arXiv: 2507.19647v1 📥 PDF

作者: Amin Banayeeanzade, Fatemeh Bahrani, Yutai Zhou, Erdem Bıyık

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-07-25

备注: IROS 2025 camera-ready version. First two authors contributed equally

💡 一句话要点

GABRIL：基于注视的正则化缓解模仿学习中的因果混淆

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 因果混淆 注视数据 正则化 表征学习

📋 核心要点

  1. 模仿学习易受因果混淆影响，智能体易将虚假相关性误认为因果关系，导致泛化能力差。
  2. GABRIL利用人类注视数据指导表征学习，通过正则化损失使模型关注因果相关特征，减少混淆变量影响。
  3. 实验表明，GABRIL在Atari和CARLA环境中显著优于行为克隆等基线方法，并提升了模型的可解释性。

📝 摘要（中文）

模仿学习(IL)是一种广泛应用的方法，它通过将任务构建为监督学习问题，使智能体能够从人类专家的演示中学习。然而，IL经常受到因果混淆的影响，智能体会将虚假的相关性误解为因果关系，导致在具有分布偏移的测试环境中表现不佳。为了解决这个问题，我们引入了模仿学习中基于注视的正则化(GABRIL)，这是一种新颖的方法，它利用数据收集阶段收集的人类注视数据来指导IL中的表征学习。GABRIL利用正则化损失，鼓励模型关注通过专家注视识别的因果相关特征，从而减轻混淆变量的影响。我们在Atari环境和CARLA中的Bench2Drive基准上验证了我们的方法，通过收集人类注视数据集并在两个领域中应用我们的方法。实验结果表明，GABRIL相对于行为克隆的改进比Atari中其他基线的改进高出约179%，在CARLA设置中高出76%。最后，我们表明，与常规IL智能体相比，我们的方法提供了额外的可解释性。

🔬 方法详解

问题定义：模仿学习旨在让智能体从专家演示中学习策略，但容易受到因果混淆的影响。这意味着智能体可能会学习到与环境奖励无关的虚假相关性，导致在新的、未见过的环境中表现不佳。现有方法难以有效区分因果特征和非因果特征，泛化能力受限。

核心思路：GABRIL的核心思路是利用人类专家的注视数据来指导智能体的学习过程。人类的注视通常集中在任务相关的关键区域，因此可以作为因果特征的有效指示器。通过引入基于注视的正则化，GABRIL鼓励智能体关注专家注视的区域，从而学习到更鲁棒的策略。

技术框架：GABRIL的整体框架包括以下几个步骤：1)收集人类专家在特定环境中的演示数据，同时记录专家的注视数据。2)使用收集到的数据训练一个模仿学习模型。3)在训练过程中，引入一个正则化损失，该损失鼓励模型学习到的表征与专家的注视数据对齐。4)使用训练好的模型在新的环境中进行测试。

关键创新：GABRIL的关键创新在于将人类注视数据融入到模仿学习的训练过程中，通过正则化损失来引导模型学习因果相关的特征。与传统的模仿学习方法相比，GABRIL能够更有效地缓解因果混淆问题，提高智能体的泛化能力。

关键设计：GABRIL的关键设计包括：1)注视数据的处理方式：如何将原始的注视数据转换为可用于正则化的形式。2)正则化损失函数的选择：如何设计一个有效的正则化损失，以鼓励模型学习与注视数据对齐的表征。论文中具体使用的损失函数未知。3)正则化系数的设置：如何平衡模仿学习损失和正则化损失之间的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GABRIL在Atari和CARLA两个benchmark上进行了验证，实验结果表明，GABRIL相对于行为克隆的改进比Atari中其他基线的改进高出约179%，在CARLA设置中高出76%。这些结果表明，GABRIL能够有效地缓解因果混淆问题，提高智能体的泛化能力。

🎯 应用场景

GABRIL可应用于各种需要模仿学习的场景，例如机器人控制、自动驾驶、游戏AI等。通过利用人类专家的注视数据，GABRIL可以帮助智能体学习到更安全、更可靠的策略，尤其是在复杂和动态的环境中。该方法还可以用于提高智能体的可解释性，帮助人们理解智能体做出决策的原因。

📄 摘要（原文）

Imitation Learning (IL) is a widely adopted approach which enables agents to learn from human expert demonstrations by framing the task as a supervised learning problem. However, IL often suffers from causal confusion, where agents misinterpret spurious correlations as causal relationships, leading to poor performance in testing environments with distribution shift. To address this issue, we introduce GAze-Based Regularization in Imitation Learning (GABRIL), a novel method that leverages the human gaze data gathered during the data collection phase to guide the representation learning in IL. GABRIL utilizes a regularization loss which encourages the model to focus on causally relevant features identified through expert gaze and consequently mitigates the effects of confounding variables. We validate our approach in Atari environments and the Bench2Drive benchmark in CARLA by collecting human gaze datasets and applying our method in both domains. Experimental results show that the improvement of GABRIL over behavior cloning is around 179% more than the same number for other baselines in the Atari and 76% in the CARLA setup. Finally, we show that our method provides extra explainability when compared to regular IL agents.