What Matters to You? Towards Visual Representation Alignment for Robot Learning

📄 arXiv: 2310.07932v2 📥 PDF

作者: Ran Tian, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy

分类: cs.RO, cs.AI, cs.CV

发布日期: 2023-10-11 (更新: 2024-01-16)

💡 一句话要点

提出RAPL以解决机器人视觉表示对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉表示对齐 机器人学习 人类反馈 偏好学习 最优传输

📋 核心要点

  1. 现有方法在机器人学习中依赖代理任务，未能充分考虑用户的偏好，导致机器人行为与用户期望不符。
  2. 本文提出基于偏好的表示对齐学习（RAPL），通过人类反馈对齐视觉表示，解决视觉奖励学习问题。
  3. 实验结果显示，RAPL在X-MAGICAL和机器人操控任务中，能够高效生成用户偏好的行为，并展现出良好的零-shot泛化能力。

📝 摘要（中文）

在为人服务的过程中，机器人需要优化与最终用户偏好一致的奖励。由于机器人依赖于原始感知输入如RGB图像，因此其奖励必然使用视觉表示。尽管最近对预训练视觉模型的表示产生了兴趣，但关键在于微调，通常通过动态预测或强制时间循环一致性等代理任务进行。然而，这些代理任务忽略了人类对重要因素的输入，导致机器人行为与用户偏好不一致。本文提出通过人类反馈来对齐视觉表示，进而解决视觉奖励学习问题，提出了基于偏好的表示对齐学习（RAPL）方法。实验表明，RAPL的奖励能够持续生成用户偏好的机器人行为，且具有高样本效率和强大的零-shot泛化能力。

🔬 方法详解

问题定义：本文旨在解决机器人视觉表示与用户偏好对齐的问题。现有方法通过代理任务进行微调，导致机器人行为与用户期望不一致，且容易产生虚假相关性。

核心思路：提出基于偏好的表示对齐学习（RAPL）方法，利用人类反馈来指导视觉表示的对齐，确保机器人行为与用户偏好一致。通过最优传输理论，RAPL能够有效地处理视觉奖励学习问题。

技术框架：RAPL的整体架构包括三个主要模块：1) 人类反馈收集模块，获取用户对行为的偏好；2) 视觉表示对齐模块，利用反馈调整视觉表示；3) 奖励学习模块，基于对齐后的视觉表示生成奖励信号。

关键创新：RAPL的核心创新在于引入人类反馈进行视觉表示对齐，区别于传统方法的代理任务微调，能够更好地捕捉用户的真实偏好。

关键设计：在RAPL中，设计了特定的损失函数来量化视觉表示与用户偏好的对齐程度，同时采用了适应性网络结构，以提高学习效率和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RAPL在X-MAGICAL和机器人操控任务中，能够以高样本效率生成用户偏好的行为，且在不同机器人实体上展现出强大的零-shot泛化能力。与基线方法相比，RAPL在行为偏好一致性上有显著提升，具体性能数据未提供。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、家庭自动化、医疗辅助等场景。通过更好地对齐机器人行为与用户偏好，RAPL能够提升用户体验，促进人机协作的有效性和安全性。未来，RAPL的理念和方法可以扩展到更多的机器人学习任务中，推动智能机器人技术的发展。

📄 摘要（原文）

When operating in service of people, robots need to optimize rewards aligned with end-user preferences. Since robots will rely on raw perceptual inputs like RGB images, their rewards will inevitably use visual representations. Recently there has been excitement in using representations from pre-trained visual models, but key to making these work in robotics is fine-tuning, which is typically done via proxy tasks like dynamics prediction or enforcing temporal cycle-consistency. However, all these proxy tasks bypass the human's input on what matters to them, exacerbating spurious correlations and ultimately leading to robot behaviors that are misaligned with user preferences. In this work, we propose that robots should leverage human feedback to align their visual representations with the end-user and disentangle what matters for the task. We propose Representation-Aligned Preference-based Learning (RAPL), a method for solving the visual representation alignment problem and visual reward learning problem through the lens of preference-based learning and optimal transport. Across experiments in X-MAGICAL and in robotic manipulation, we find that RAPL's reward consistently generates preferred robot behaviors with high sample efficiency, and shows strong zero-shot generalization when the visual representation is learned from a different embodiment than the robot's.