DeliveryGym: An RL Environment for Long-Horizon Embodied Agent Planning with Adaptive Curriculum

📄 arXiv: 2609.19801v1 📥 PDF

作者: Haoqiang Kang, Yiming Zhang, Yiyang Guo, Chuying Li, Jianzhi Shen, Tianruo Rose Xu, Xiaokang Ye, Lianhui Qin

分类: cs.LG

发布日期: 2026-09-17

💡 一句话要点

提出DeliveryGym以解决长时间规划中的资源管理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 具身智能体 任务规划 资源管理 3D环境 多模态交互 适应性训练

📋 核心要点

  1. 现有方法在长时间规划中难以有效管理资源，导致代理在执行任务时无法优化时间和成本。
  2. 本文提出DeliveryGym环境，通过结合多模态工具交互和持久的世界动态，帮助代理学习如何在复杂任务中进行有效规划。
  3. 实验结果显示，使用强化学习后，Qwen3-VL-4B的净收入提高了54.3%，适应性训练环境使得测试收入提高了16.5%。

📝 摘要（中文）

可执行环境使得大型语言模型（LLM）代理能够从其行为后果中学习。对于具身代理而言，这些后果不仅限于当前任务的成功与否，完成一次交付可能会消耗后续工作的时间、精力或金钱。因此，学习规划需要能够保留这些依赖关系并将其转化为完整轨迹中的反馈的环境。本文介绍了DeliveryGym，一个用于评估和训练代理在连续快递任务中的3D环境。它结合了多模态工具交互与持久的世界动态，并从模拟器事件中计算轨迹奖励，使得代理决策的成本可用于强化学习（RL）。该环境还根据策略的观察到的弱点调整未来的训练任务，同时保持评估固定。在六个模型和13个城市地图的评估中，发现可靠执行分配交付与选择和排序工作之间存在差距。在固定测试套件上，RL使Qwen3-VL-4B的净收入提高了54.3%，表明从完整任务中学习在这些耦合约束下提升了性能。适应训练环境使得测试收入在相同的回合预算下提高了16.5%，表明代理练习的情境也很重要。DeliveryGym为研究代理如何协调交付并在一个回合内保留资源提供了可执行的设置。

🔬 方法详解

问题定义：本文旨在解决具身代理在长时间任务规划中资源管理不足的问题。现有方法往往忽视了任务间的依赖关系，导致代理无法有效优化其决策。

核心思路：DeliveryGym环境通过模拟真实世界中的动态变化和多模态交互，使得代理能够在执行任务时考虑到时间、能量和金钱等多种因素，从而实现更有效的规划。

技术框架：该环境的整体架构包括多个模块：环境模拟器、奖励计算模块和适应性训练模块。环境模拟器负责创建3D场景，奖励计算模块根据代理的决策和环境变化计算反馈，而适应性训练模块则根据代理的表现调整未来的训练任务。

关键创新：DeliveryGym的最大创新在于其能够将任务间的依赖关系转化为可用于强化学习的反馈机制。这一设计使得代理能够在完整的任务轨迹中学习，而不仅仅是单一任务的成功与否。

关键设计：在设计中，采用了多模态工具交互以增强代理的操作能力，同时在奖励计算中引入了时间、能量和金钱的综合考量，确保代理在决策时能够全面评估其后果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，使用强化学习后，Qwen3-VL-4B的净收入提升了54.3%，显示出从完整任务中学习的有效性。此外，适应性训练环境使得测试收入在相同回合预算下提高了16.5%，表明训练情境的重要性。

🎯 应用场景

DeliveryGym的研究成果可以广泛应用于物流、配送和服务机器人等领域，帮助这些系统在复杂环境中进行高效的任务规划和资源管理。未来，该环境还可以扩展到其他具身智能体的训练中，推动智能体在动态环境中的适应能力和决策效率。

📄 摘要（原文）

Executable environments enable LLM agents to learn from the consequences of their actions. For embodied agents, those consequences extend beyond whether the current task succeeds: completing a delivery can consume the time, energy, or money needed for later work. Learning to plan therefore requires environments that preserve these dependencies and turn them into feedback across a complete trajectory. We introduce DeliveryGym, a 3D environment for evaluating and training agents on continuous courier shifts. It couples multimodal tool interaction with persistent world dynamics and computes trajectory rewards from simulator events, making the costs of an agent's decisions available for reinforcement learning (RL). The environment also adapts future training shifts to the policy's observed weaknesses while keeping evaluation fixed. Across six models and 13 city maps, evaluation exposes a gap between reliably executing assigned deliveries and choosing and sequencing work over a shift. On the fixed test suite, RL improves Qwen3-VL-4B's net income by 54.3%, showing that learning from complete shifts improves performance under these coupled constraints. Adapting the training environment improves test income by 16.5% over uniform sampling at the same rollout budget, indicating that which situations an agent practices also matters. DeliveryGym provides an executable setting for studying how agents learn to coordinate deliveries and preserve resources for later orders within an episode.