EvoNav: Evolutionary Reward Function Design for Robot Navigation with Large Language Models

📄 arXiv: 2605.11859v1 📥 PDF

作者: Zhikai Zhao, Chuanbo Hua, Federico Berto, Zihan Ma, Kanghoon Lee, Jiachen Li, Jinkyoo Park

分类: cs.RO, cs.AI

发布日期: 2026-05-12

💡 一句话要点

EvoNav：利用大语言模型进化式设计机器人导航奖励函数

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人导航 强化学习 奖励函数设计 大语言模型 进化算法

📋 核心要点

  1. 现有机器人导航强化学习方法依赖手工设计的奖励函数，需要领域知识且存在难以调整的归纳偏置。
  2. EvoNav利用大语言模型自动生成奖励函数，并通过进化算法进行优化，无需人工干预。
  3. EvoNav采用三阶段预热-加速策略，降低了计算成本，实验表明其性能优于人工设计奖励函数。

📝 摘要（中文）

机器人导航是至关重要的任务，可应用于动态人类环境中的社交机器人。虽然强化学习(RL)在该问题上显示出巨大的潜力，但策略质量对奖励函数的规范非常敏感。手工设计的奖励需要大量的领域专业知识，并嵌入难以审计或调整的归纳偏差，限制了其有效性并导致次优性能。在本文中，我们提出了EvoNav，一个进化框架，它通过大型语言模型(LLM)自动设计机器人导航奖励函数。为了克服高昂的策略训练成本，EvoNav通过渐进的三阶段预热-加速程序评估来自LLM的每个候选提案。EvoNav从低成本代理的分析代理(例如小数据集和分析规则)推进到轻量级rollout，最后到完整的策略训练，从而在有效的反馈下实现计算高效的探索。实验结果表明，EvoNav产生的导航策略比手动设计的RL奖励和最先进的奖励设计方法更有效。

🔬 方法详解

问题定义：机器人导航任务中，传统强化学习方法依赖于人工设计的奖励函数。这些奖励函数的设计需要大量的领域知识，并且往往包含难以被发现和修改的归纳偏置，从而限制了导航策略的性能和泛化能力。此外，手动调整奖励函数非常耗时且低效。

核心思路：EvoNav的核心思路是利用大型语言模型（LLMs）的强大生成能力，自动生成候选的奖励函数。然后，通过进化算法对这些候选奖励函数进行优化，选择出能够引导机器人学习到最优导航策略的奖励函数。这种方法避免了人工设计奖励函数的复杂性和主观性，并能够探索更广阔的奖励函数空间。

技术框架：EvoNav框架主要包含以下几个模块：1) LLM奖励函数生成器：利用LLM生成一系列候选的奖励函数。LLM的输入可以是任务描述、环境信息等。2) 奖励函数评估器：评估每个候选奖励函数的性能。为了降低计算成本，EvoNav采用三阶段预热-加速策略：首先使用分析代理（如小数据集和分析规则）进行快速评估，然后使用轻量级rollout进行初步筛选，最后使用完整的策略训练进行精确评估。3) 进化算法：根据奖励函数评估器的结果，使用进化算法（如遗传算法）对奖励函数进行选择、交叉和变异，生成新的候选奖励函数，并迭代进行优化。

关键创新：EvoNav的关键创新在于：1) 利用LLM自动生成奖励函数：这避免了人工设计奖励函数的复杂性和主观性。2) 三阶段预热-加速策略：这显著降低了奖励函数评估的计算成本，使得进化算法能够在可接受的时间内完成优化。3) 进化算法与LLM的结合：这种结合能够有效地探索奖励函数空间，找到更优的奖励函数。

关键设计：在LLM奖励函数生成器中，可以使用不同的prompt来引导LLM生成不同类型的奖励函数。在奖励函数评估器中，三阶段预热-加速策略的关键在于选择合适的分析代理和轻量级rollout方法，以保证评估的准确性和效率。在进化算法中，需要选择合适的选择、交叉和变异算子，以及合适的种群大小和迭代次数。

📊 实验亮点

实验结果表明，EvoNav生成的导航策略在多个测试环境中均优于人工设计的奖励函数和现有的奖励函数设计方法。具体而言，EvoNav在导航成功率、路径长度和碰撞次数等指标上均取得了显著提升。例如，在某个测试环境中，EvoNav的导航成功率比人工设计的奖励函数提高了15%。

🎯 应用场景

EvoNav具有广泛的应用前景，可应用于各种机器人导航任务，例如：服务机器人、自动驾驶汽车、无人机等。该方法能够显著降低机器人导航系统的开发成本，提高导航策略的性能和鲁棒性。未来，EvoNav可以扩展到其他机器人任务中，例如：机器人操作、机器人协作等，从而实现更智能、更自主的机器人系统。

📄 摘要（原文）

Robot navigation is a crucial task with applications to social robots in dynamic human environments. While Reinforcement Learning (RL) has shown great promise for this problem, the policy quality is highly sensitive to the specification of reward functions. Hand-crafted rewards require substantial domain expertise and embed inductive biases that are difficult to audit or adapt, limiting their effectiveness and leading to suboptimal performance. In this paper, we propose EvoNav, an evolutionary framework that automates the design of robot navigation reward functions via large language models (LLMs). To overcome prohibitively costly policy training, EvoNav evaluates each candidate proposal from the LLM via a progressive three-stage warm-up-boost procedure. EvoNav advances from analytical proxies with low-cost surrogates, such as small datasets and analytic rules, to lightweight rollouts and, finally, to full policy training, enabling computationally efficient exploration under effective feedback. Experiment results show that EvoNav produces more effective navigation policies than manually designed RL rewards and state-of-the-art reward design methods.