Robotic Skill Diversification via Active Mutation of Reward Functions in Reinforcement Learning During a Liquid Pouring Task
作者: Jannick van Buuren, Roberto Giglio, Loris Roveda, Luka Peternel
分类: cs.RO, cs.LG
发布日期: 2025-09-22
💡 一句话要点
提出基于奖励函数主动变异的强化学习方法，实现机器人倾倒任务中的技能多样化。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 强化学习 奖励函数变异 技能多样化 液体倾倒
📋 核心要点
- 现有强化学习方法在机器人操作任务中难以产生多样化的技能变体，限制了机器人的泛化能力。
- 通过对奖励函数中的各项权重施加高斯噪声，主动变异奖励函数，鼓励探索不同的行为策略。
- 在液体倾倒任务中，该方法成功生成了包括边缘清洁、液体混合等多种有用的机器人技能。
📝 摘要（中文）
本文探讨了在强化学习中，通过对奖励函数进行主动变异，如何在机器人操作任务中产生多样化的技能变体。研究以液体倾倒为例，开发了一种新的奖励函数变异框架，该框架基于对奖励函数中不同项的权重应用高斯噪声。受到人类运动控制中成本-效益权衡模型的启发，设计的奖励函数包含以下关键项：准确性、时间和努力程度。研究在NVIDIA Isaac Sim中创建的仿真环境中进行，设置包括Franka Emika Panda机械臂，机械臂手持装有液体的玻璃杯，需要将液体倒入容器中。强化学习算法基于近端策略优化（Proximal Policy Optimization）。系统地探索了奖励函数中变异权重的不同配置如何影响学习到的策略。结果策略表现出广泛的行为：从执行最初预期的倾倒任务的变体到对意外任务有用的新技能，例如容器边缘清洁、液体混合和浇水。这种方法为机器人系统执行特定任务的多样化学习提供了有希望的方向，同时也可能为未来的任务衍生出有意义的技能。
🔬 方法详解
问题定义：现有强化学习方法在机器人操作任务中，通常只能学习到预先设定的单一目标技能，缺乏探索和学习多样化技能的能力。这限制了机器人在复杂和动态环境中适应新任务的能力。现有的奖励函数设计往往过于具体，导致策略过度拟合特定任务，难以泛化到其他相关任务。
核心思路：本文的核心思路是通过主动变异强化学习中的奖励函数，鼓励机器人探索不同的行为策略，从而学习到多样化的技能。这种方法借鉴了人类运动控制中的成本-效益权衡模型，认为通过改变不同行为的“成本”和“效益”，可以引导个体学习到不同的运动策略。
技术框架：整体框架包括以下几个主要步骤：1) 定义一个包含多个关键项（如准确性、时间、努力程度）的奖励函数；2) 对奖励函数中各项的权重施加高斯噪声，实现奖励函数的变异；3) 使用近端策略优化（PPO）算法训练机器人，使其在变异的奖励函数下学习策略；4) 评估学习到的策略，并分析其行为特征。该框架在NVIDIA Isaac Sim仿真环境中实现，使用Franka Emika Panda机械臂执行液体倾倒任务。
关键创新：该方法最重要的创新点在于主动变异奖励函数，这与传统的固定奖励函数方法不同。通过引入随机性，鼓励机器人探索更广泛的行为空间，从而发现新的技能。此外，该方法还借鉴了人类运动控制的成本-效益权衡模型，使得奖励函数的设计更加合理和有效。
关键设计：奖励函数的设计是关键。本文设计的奖励函数包含三个主要项：准确性（衡量倾倒的精度）、时间（衡量完成任务的速度）和努力程度（衡量机械臂的能量消耗）。每个项都有一个对应的权重，这些权重通过高斯噪声进行变异。高斯噪声的方差是控制变异程度的关键参数。PPO算法使用默认参数，没有进行特别的调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过奖励函数的主动变异，机器人成功学习到了多种不同的倾倒策略，包括更快的倾倒、更精确的倾倒，以及一些意想不到的技能，如容器边缘清洁和液体混合。这些技能在传统的固定奖励函数方法中难以获得。虽然没有给出具体的性能数据，但实验结果清晰地展示了该方法在技能多样化方面的优势。
🎯 应用场景
该研究成果可应用于各种需要机器人具备灵活操作能力的场景，例如：自动化装配、医疗手术、家庭服务等。通过学习多样化的技能，机器人可以更好地适应不同的任务需求，提高工作效率和安全性。此外，该方法还可以用于机器人技能发现和自主学习，为机器人智能的进一步发展奠定基础。
📄 摘要（原文）
This paper explores how deliberate mutations of reward function in reinforcement learning can produce diversified skill variations in robotic manipulation tasks, examined with a liquid pouring use case. To this end, we developed a new reward function mutation framework that is based on applying Gaussian noise to the weights of the different terms in the reward function. Inspired by the cost-benefit tradeoff model from human motor control, we designed the reward function with the following key terms: accuracy, time, and effort. The study was performed in a simulation environment created in NVIDIA Isaac Sim, and the setup included Franka Emika Panda robotic arm holding a glass with a liquid that needed to be poured into a container. The reinforcement learning algorithm was based on Proximal Policy Optimization. We systematically explored how different configurations of mutated weights in the rewards function would affect the learned policy. The resulting policies exhibit a wide range of behaviours: from variations in execution of the originally intended pouring task to novel skills useful for unexpected tasks, such as container rim cleaning, liquid mixing, and watering. This approach offers promising directions for robotic systems to perform diversified learning of specific tasks, while also potentially deriving meaningful skills for future tasks.