Fine-Tuned Language Models as Space Systems Controllers

📄 arXiv: 2501.16588v1 📥 PDF

作者: Enrico M. Zucchelli, Di Wu, Julia Briden, Christian Hofmann, Victor Rodriguez-Fernandez, Richard Linares

分类: cs.LG, eess.SY

发布日期: 2025-01-28

期刊: Proceedings of the AAS/AIAA Astrodynamics Specialist Conference, paper number AAS 24-445, Broomfield, CO, August 2024

💡 一句话要点

利用微调语言模型作为空间系统控制器

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 空间系统控制 微调 轨道控制 航天器制导

📋 核心要点

  1. 传统空间系统控制依赖于深度神经网络，但其训练数据需求量大，泛化能力有限。
  2. 本文提出利用微调后的LLM作为空间系统控制器，旨在降低数据需求并提升泛化能力。
  3. 实验表明，微调后的LLM在多个空间控制问题上表现良好，且具有跨任务学习能力。

📝 摘要（中文）

大型语言模型（LLM）或称基础模型（FM）是经过预训练的Transformer模型，能够自回归地连贯完成句子。本文表明，经过额外的训练（称为微调）后，LLM可以控制简化的空间系统。我们研究了相对较小的语言模型，参数量在70亿到130亿之间。我们关注四个问题：三维弹簧玩具问题、低推力轨道转移、低推力地月控制和动力下降制导。微调后的LLM能够生成足够准确的输出，这些输出是具有高达10位有效数字的多维向量，从而控制系统。我们表明，对于某些问题，执行微调所需的数据量小于传统深度神经网络（DNN）通常所需的数据量，并且微调后的LLM擅长泛化到训练数据集之外。此外，同一个LLM可以使用来自不同问题的数据进行微调，与针对单个应用程序训练的LLM相比，性能仅略有下降。这项工作旨在作为开发通用空间系统控制器的第一步。

🔬 方法详解

问题定义：现有空间系统控制方法，如基于深度神经网络的方法，通常需要大量的训练数据，并且在训练数据分布之外的泛化能力较弱。此外，针对不同任务需要训练不同的模型，缺乏通用性。本文旨在探索一种更高效、更通用的空间系统控制方法。

核心思路：本文的核心思路是利用大型语言模型（LLM）的强大语言建模能力和泛化能力，通过少量数据的微调，使其能够理解和执行空间系统控制任务。LLM可以将控制指令和系统状态编码为文本，并生成相应的控制动作，从而实现对空间系统的控制。

技术框架：该方法主要包括以下几个步骤：1) 选择一个预训练的LLM作为基础模型。2) 构建空间系统控制任务的数据集，包括系统状态、控制指令和对应的控制动作。3) 使用数据集对LLM进行微调，使其能够生成正确的控制动作。4) 将微调后的LLM部署到空间系统中，用于实时控制。

关键创新：本文的关键创新在于将LLM应用于空间系统控制领域，并证明了LLM可以通过少量数据的微调，实现对复杂空间系统的有效控制。与传统的深度神经网络相比，LLM具有更强的泛化能力和跨任务学习能力。

关键设计：本文使用了参数量在70亿到130亿之间的LLM。微调过程中，使用了标准的语言模型训练目标，即最大化生成正确控制动作的概率。针对不同的空间系统控制任务，设计了不同的数据集，并对LLM进行了相应的微调。实验中，作者探索了不同的微调策略和超参数设置，以获得最佳的控制性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，微调后的LLM在三维弹簧玩具问题、低推力轨道转移、低推力地月控制和动力下降制导等任务上均取得了良好的控制效果。与传统的深度神经网络相比，LLM在数据需求量更少的情况下，能够实现更好的泛化性能。此外，同一个LLM可以使用来自不同问题的数据进行微调，且性能下降较小，表明LLM具有良好的跨任务学习能力。

🎯 应用场景

该研究成果可应用于各种空间系统控制任务，例如卫星姿态控制、轨道控制、航天器制导等。利用微调后的LLM，可以降低空间系统控制的开发成本和时间，并提高控制系统的鲁棒性和适应性。未来，有望发展出通用的空间系统控制器，实现空间任务的自动化和智能化。

📄 摘要（原文）

Large language models (LLMs), or foundation models (FMs), are pretrained transformers that coherently complete sentences auto-regressively. In this paper, we show that LLMs can control simplified space systems after some additional training, called fine-tuning. We look at relatively small language models, ranging between 7 and 13 billion parameters. We focus on four problems: a three-dimensional spring toy problem, low-thrust orbit transfer, low-thrust cislunar control, and powered descent guidance. The fine-tuned LLMs are capable of controlling systems by generating sufficiently accurate outputs that are multi-dimensional vectors with up to 10 significant digits. We show that for several problems the amount of data required to perform fine-tuning is smaller than what is generally required of traditional deep neural networks (DNNs), and that fine-tuned LLMs are good at generalizing outside of the training dataset. Further, the same LLM can be fine-tuned with data from different problems, with only minor performance degradation with respect to LLMs trained for a single application. This work is intended as a first step towards the development of a general space systems controller.