LAPP: Large Language Model Feedback for Preference-Driven Reinforcement Learning

📄 arXiv: 2504.15472v1 📥 PDF

作者: Pingcheng Jian, Xiao Wei, Yanbaihui Liu, Samuel A. Moore, Michael M. Zavlanos, Boyuan Chen

分类: cs.RO, cs.LG, eess.SY

发布日期: 2025-04-21

💡 一句话要点

LAPP：利用大语言模型反馈进行偏好驱动的强化学习，提升机器人控制能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大语言模型 偏好学习 机器人控制 轨迹优化

📋 核心要点

  1. 传统机器人学习方法依赖于繁琐的奖励函数设计或大量人工数据，难以适应复杂任务和人类偏好。
  2. LAPP利用大语言模型自动生成轨迹偏好标签，训练偏好预测器，引导强化学习策略优化，降低人工成本。
  3. 实验表明，LAPP在四足运动和灵巧操作任务上表现出色，能够完成高难度动作，提升学习效率和性能。

📝 摘要（中文）

本文提出了一种名为大语言模型辅助偏好预测（LAPP）的机器人学习新框架，旨在以最小的人工干预实现高效、可定制和富有表现力的行为获取。与以往严重依赖奖励工程、人工演示、动作捕捉或昂贵的成对偏好标签的方法不同，LAPP利用大型语言模型（LLM）从强化学习（RL）过程中收集的原始状态-动作轨迹中自动生成偏好标签。这些标签用于训练在线偏好预测器，进而引导策略优化过程，使其满足人类提供的高级行为规范。该方法通过轨迹级偏好预测将LLM集成到RL反馈循环中，使机器人能够掌握复杂的技能，包括对步态模式和节奏时序的精细控制。在四足动物运动和灵巧操作任务上的评估表明，LAPP实现了高效学习、更高的最终性能、更快的适应性和对高级行为的精确控制。值得注意的是，LAPP使机器人能够掌握极具动态性和表现力的任务，如四足动物后空翻，这对于标准LLM生成或手工设计的奖励来说仍然遥不可及。结果表明，LAPP是可扩展的偏好驱动机器人学习的一个有希望的方向。

🔬 方法详解

问题定义：现有机器人强化学习方法在处理复杂任务和人类偏好时面临挑战。奖励函数的设计需要大量人工经验，且难以捕捉细微的行为差异。人工演示和动作捕捉成本高昂，难以扩展。成对偏好学习虽然可以学习人类偏好，但需要大量的人工标注。

核心思路：LAPP的核心思想是利用大语言模型（LLM）的强大语义理解能力，自动从机器人执行的轨迹中提取偏好信息。通过将轨迹输入LLM，让LLM判断不同轨迹的优劣，生成偏好标签。这些标签用于训练一个偏好预测器，该预测器可以预测给定轨迹的偏好得分，从而指导强化学习过程，使机器人学习到符合人类偏好的行为。

技术框架：LAPP的整体框架包含以下几个主要模块：1) 强化学习环境：机器人与环境交互，生成状态-动作轨迹。2) 大语言模型（LLM）：接收轨迹作为输入，输出偏好标签。3) 偏好预测器：基于LLM生成的偏好标签进行训练，预测轨迹的偏好得分。4) 强化学习算法：利用偏好预测器的输出作为奖励信号，优化机器人策略。

关键创新：LAPP的关键创新在于将大语言模型引入到机器人强化学习的反馈循环中。与传统的奖励函数设计或人工标注相比，LAPP利用LLM自动生成偏好标签，大大降低了人工成本，并能够捕捉更细微的行为差异。此外，LAPP采用在线学习的方式，偏好预测器可以随着强化学习的进行不断更新，从而更好地适应任务和人类偏好。

关键设计：LAPP的关键设计包括：1) 如何将轨迹信息有效地输入到LLM中，例如可以使用自然语言描述轨迹的关键特征。2) 如何设计偏好预测器的网络结构，使其能够准确预测轨迹的偏好得分。3) 如何将偏好预测器的输出与强化学习算法相结合，例如可以使用偏好得分作为奖励信号或指导策略梯度更新。

🖼️ 关键图片

img_0

📊 实验亮点

LAPP在四足动物运动和灵巧操作任务上取得了显著成果。例如，LAPP成功地使四足机器人学会了后空翻等高难度动作，而传统的基于手工设计奖励的强化学习方法难以实现。实验结果表明，LAPP能够实现更快的学习速度、更高的最终性能和更好的适应性。此外，LAPP还能够实现对高级行为的精确控制，例如控制四足机器人的步态模式和节奏时序。

🎯 应用场景

LAPP具有广泛的应用前景，可应用于各种需要复杂行为控制和人类偏好对齐的机器人任务中，例如：家庭服务机器人、医疗康复机器人、工业自动化机器人等。该方法能够显著降低机器人学习的成本，提高学习效率，并使机器人能够更好地适应人类的需求和偏好，从而促进机器人技术的普及和应用。

📄 摘要（原文）

We introduce Large Language Model-Assisted Preference Prediction (LAPP), a novel framework for robot learning that enables efficient, customizable, and expressive behavior acquisition with minimum human effort. Unlike prior approaches that rely heavily on reward engineering, human demonstrations, motion capture, or expensive pairwise preference labels, LAPP leverages large language models (LLMs) to automatically generate preference labels from raw state-action trajectories collected during reinforcement learning (RL). These labels are used to train an online preference predictor, which in turn guides the policy optimization process toward satisfying high-level behavioral specifications provided by humans. Our key technical contribution is the integration of LLMs into the RL feedback loop through trajectory-level preference prediction, enabling robots to acquire complex skills including subtle control over gait patterns and rhythmic timing. We evaluate LAPP on a diverse set of quadruped locomotion and dexterous manipulation tasks and show that it achieves efficient learning, higher final performance, faster adaptation, and precise control of high-level behaviors. Notably, LAPP enables robots to master highly dynamic and expressive tasks such as quadruped backflips, which remain out of reach for standard LLM-generated or handcrafted rewards. Our results highlight LAPP as a promising direction for scalable preference-driven robot learning.