Robotic Skill Diversification via Active Mutation of Reward Functions in Reinforcement Learning During a Liquid Pouring Task

📄 arXiv: 2509.18463v1 📥 PDF

作者: Jannick van Buuren, Roberto Giglio, Loris Roveda, Luka Peternel

分类: cs.RO, cs.LG

发布日期: 2025-09-22

💡 一句话要点

提出基于奖励函数主动变异的强化学习方法，用于机器人液体倾倒任务中的技能多样化

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人技能学习 强化学习 奖励函数变异 技能多样化 液体倾倒 近端策略优化 机器人控制 主动探索

📋 核心要点

  1. 现有强化学习方法在机器人技能学习中缺乏多样性，难以适应复杂环境和突发情况。
  2. 通过对奖励函数中的各项权重施加高斯噪声，主动变异奖励函数，鼓励探索不同的行为策略。
  3. 在液体倾倒任务中，该方法成功学习到多种技能，包括倾倒、清洁、混合和浇水等。

📝 摘要（中文）

本文探索了强化学习中奖励函数的主动变异如何在机器人操作任务中产生多样化的技能变体，并以液体倾倒用例进行了验证。为此，我们开发了一种新的奖励函数变异框架，该框架基于将高斯噪声应用于奖励函数中不同项的权重。受到人类运动控制中成本效益权衡模型的启发，我们设计的奖励函数包含以下关键项：准确性、时间和努力程度。该研究在NVIDIA Isaac Sim中创建的仿真环境中进行，设置包括Franka Emika Panda机械臂，该机械臂握住一个装有液体的玻璃杯，需要将液体倒入容器中。强化学习算法基于近端策略优化（PPO）。我们系统地探索了奖励函数中变异权重的不同配置如何影响学习到的策略。由此产生的策略表现出广泛的行为：从执行最初预期的倾倒任务的变体到对意外任务有用的新技能，例如容器边缘清洁、液体混合和浇水。这种方法为机器人系统执行特定任务的多样化学习提供了有希望的方向，同时也可能为未来的任务衍生出有意义的技能。

🔬 方法详解

问题定义：现有的机器人强化学习方法通常依赖于固定的奖励函数，这限制了机器人探索多样化技能的能力。当环境发生变化或出现新的任务需求时，机器人可能难以适应，缺乏灵活性和泛化能力。因此，如何使机器人能够自主学习和掌握多种技能，以应对不同的场景，是一个重要的研究问题。

核心思路：本文的核心思路是通过主动变异奖励函数，鼓励机器人探索不同的行为策略。具体来说，通过在训练过程中对奖励函数中的各项权重（例如，准确性、时间和努力程度）施加高斯噪声，使得机器人能够尝试不同的行为模式，并从中学习到有用的技能。这种方法类似于生物进化中的基因突变，可以帮助机器人发现新的、意想不到的解决方案。

技术框架：该研究的技术框架主要包括以下几个部分：1）基于NVIDIA Isaac Sim的仿真环境，用于模拟机器人液体倾倒任务；2）Franka Emika Panda机械臂，作为执行任务的物理平台；3）基于近端策略优化（PPO）的强化学习算法，用于训练机器人的控制策略；4）奖励函数变异模块，用于对奖励函数中的各项权重施加高斯噪声。整个流程是，机器人首先在仿真环境中进行训练，通过奖励函数变异模块探索不同的行为策略，然后使用PPO算法优化控制策略，最终学习到多种技能。

关键创新：该论文的关键创新在于提出了一种基于奖励函数主动变异的强化学习方法，用于机器人技能多样化学习。与传统的固定奖励函数方法相比，该方法能够鼓励机器人探索不同的行为策略，从而学习到多种技能，提高了机器人的适应性和泛化能力。此外，该方法还受到人类运动控制中成本效益权衡模型的启发，将准确性、时间和努力程度作为奖励函数的关键项，使得学习到的技能更加符合人类的直觉。

关键设计：奖励函数的设计是关键。论文中，奖励函数包含三个主要部分：准确性（Accuracy）、时间（Time）和努力程度（Effort）。准确性奖励鼓励机器人准确地将液体倒入目标容器中；时间奖励鼓励机器人尽快完成任务；努力程度奖励鼓励机器人以较小的力气完成任务。这些奖励项的权重在训练过程中会受到高斯噪声的扰动，从而产生不同的奖励函数变体。高斯噪声的方差是一个重要的参数，它控制了奖励函数变异的程度。此外，PPO算法的学习率、折扣因子等参数也需要仔细调整，以保证训练的稳定性和收敛性。

📊 实验亮点

实验结果表明，通过奖励函数主动变异，机器人成功学习到多种技能，包括：1）执行最初预期的倾倒任务的变体；2）容器边缘清洁；3）液体混合；4）浇水。这些技能都是在没有明确指导的情况下，通过奖励函数变异自主学习到的。这表明该方法能够有效地提高机器人的技能多样性，并为未来的任务衍生出有意义的技能。

🎯 应用场景

该研究成果可应用于各种需要机器人具备多技能的场景，例如：家庭服务机器人可以学习不同的清洁、烹饪和整理技能；工业机器人可以学习不同的装配、搬运和维护技能；灾难救援机器人可以学习不同的搜索、救援和清理技能。通过学习多样化的技能，机器人可以更好地适应复杂和动态的环境，完成各种任务。

📄 摘要（原文）

This paper explores how deliberate mutations of reward function in reinforcement learning can produce diversified skill variations in robotic manipulation tasks, examined with a liquid pouring use case. To this end, we developed a new reward function mutation framework that is based on applying Gaussian noise to the weights of the different terms in the reward function. Inspired by the cost-benefit tradeoff model from human motor control, we designed the reward function with the following key terms: accuracy, time, and effort. The study was performed in a simulation environment created in NVIDIA Isaac Sim, and the setup included Franka Emika Panda robotic arm holding a glass with a liquid that needed to be poured into a container. The reinforcement learning algorithm was based on Proximal Policy Optimization. We systematically explored how different configurations of mutated weights in the rewards function would affect the learned policy. The resulting policies exhibit a wide range of behaviours: from variations in execution of the originally intended pouring task to novel skills useful for unexpected tasks, such as container rim cleaning, liquid mixing, and watering. This approach offers promising directions for robotic systems to perform diversified learning of specific tasks, while also potentially deriving meaningful skills for future tasks.