AstroReason-Bench: Evaluating Unified Agentic Planning across Heterogeneous Space Planning Problems

📄 arXiv: 2601.11354v1 📥 PDF

作者: Weiyi Wang, Xinchi Chen, Jingjing Gong, Xuanjing Huang, Xipeng Qiu

分类: cs.AI, cs.CL

发布日期: 2026-01-16

💡 一句话要点

AstroReason-Bench：评估统一智能体在异构空间规划问题中的规划能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 智能体规划 空间规划问题 基准测试 长时程决策 物理约束

📋 核心要点

  1. 现有智能体基准测试主要集中在符号或弱接地环境中，缺乏对物理约束真实世界领域性能的探索。
  2. AstroReason-Bench通过集成多种调度机制和统一的交互协议，提供了一个评估智能体在复杂空间规划问题中性能的平台。
  3. 实验结果表明，现有智能体LLM系统在空间规划问题中的性能远低于专用求解器，揭示了通用规划的局限性。

📝 摘要（中文）

本文提出了AstroReason-Bench，一个综合性的基准测试，用于评估智能体在空间规划问题（SPP）中的规划能力。SPP是一类具有异构目标、严格物理约束和长时程决策的高风险问题。AstroReason-Bench集成了多种调度机制，包括地面站通信和敏捷地球观测，并提供了一个统一的面向智能体的交互协议。通过对一系列最先进的开源和闭源智能体LLM系统进行评估，发现当前智能体的性能远低于专用求解器，突出了通用规划在现实约束下的关键局限性。AstroReason-Bench为未来的智能体研究提供了一个具有挑战性和诊断性的测试平台。

🔬 方法详解

问题定义：论文旨在解决现有智能体基准测试在评估物理约束真实世界领域规划能力方面的不足。现有方法在处理具有异构目标、严格物理约束和长时程决策的空间规划问题时面临挑战，通用智能体性能与专用求解器存在显著差距。

核心思路：论文的核心思路是构建一个综合性的基准测试AstroReason-Bench，该基准测试模拟了真实的太空规划场景，并提供统一的交互协议，从而能够更全面地评估智能体在复杂约束下的规划能力。通过对比通用智能体和专用求解器的性能，揭示通用智能体的局限性，并为未来的研究提供方向。

技术框架：AstroReason-Bench包含以下主要模块：1) 空间规划问题定义，包括地面站通信和敏捷地球观测等多种调度机制；2) 统一的面向智能体的交互协议，允许智能体与环境进行交互；3) 评估指标，用于衡量智能体的规划性能。整个流程包括智能体接收环境信息、制定规划策略、执行动作以及接收反馈，循环迭代直至完成任务或达到最大迭代次数。

关键创新：AstroReason-Bench的关键创新在于其综合性和真实性。它不仅集成了多种复杂的空间规划场景，还提供了统一的交互协议，使得评估过程更加标准化和可重复。与现有基准测试相比，AstroReason-Bench更加关注物理约束和长时程决策，能够更准确地反映智能体在真实世界中的性能。

关键设计：AstroReason-Bench的关键设计包括：1) 异构目标函数，用于模拟空间规划中的多种任务需求；2) 严格的物理约束，例如卫星轨道、通信窗口等；3) 长时程决策，要求智能体能够进行长期规划和优化。具体的参数设置和损失函数取决于具体的空间规划问题，例如，地面站通信需要考虑通信窗口的可见性，敏捷地球观测需要考虑卫星的姿态调整。

📊 实验亮点

实验结果表明，当前最先进的开源和闭源智能体LLM系统在AstroReason-Bench上的性能远低于专用求解器。例如，在地面站通信和敏捷地球观测任务中，智能体LLM系统的成功率和效率均显著低于专门设计的算法。这突出了通用智能体在处理具有复杂约束和长时程决策问题的局限性，并为未来的研究指明了方向。

🎯 应用场景

该研究成果可应用于航天任务规划、卫星资源调度、空间态势感知等领域。通过AstroReason-Bench，研究人员可以更有效地评估和改进智能体在复杂空间环境中的规划能力，从而提高航天任务的效率和可靠性，并为未来的自主航天系统奠定基础。

📄 摘要（原文）

Recent advances in agentic Large Language Models (LLMs) have positioned them as generalist planners capable of reasoning and acting across diverse tasks. However, existing agent benchmarks largely focus on symbolic or weakly grounded environments, leaving their performance in physics-constrained real-world domains underexplored. We introduce AstroReason-Bench, a comprehensive benchmark for evaluating agentic planning in Space Planning Problems (SPP), a family of high-stakes problems with heterogeneous objectives, strict physical constraints, and long-horizon decision-making. AstroReason-Bench integrates multiple scheduling regimes, including ground station communication and agile Earth observation, and provides a unified agent-oriented interaction protocol. Evaluating on a range of state-of-the-art open- and closed-source agentic LLM systems, we find that current agents substantially underperform specialized solvers, highlighting key limitations of generalist planning under realistic constraints. AstroReason-Bench offers a challenging and diagnostic testbed for future agentic research.