Offline Multimodal Large Language Models for Decision Support in Air Operations
作者: Joao P. A. Dantas, Jelton A. Cunha, Gabriel Dietzsch
分类: cs.AI, cs.CL
发布日期: 2026-09-18
💡 一句话要点
提出离线多模态大语言模型以支持空中作战决策
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 决策支持 空中作战 离线系统 认知负荷 图像识别 自然语言处理
📋 核心要点
- 现有方法在空中作战环境中面临复杂规则和时间敏感分析的挑战，且通常缺乏外部计算资源支持。
- 论文提出了一种离线多模态大语言模型架构，能够在无互联网环境下支持文本和图像输入，帮助分析师进行决策。
- 实验结果表明，所提系统在任务完成时间上显著优于人类，完成时间为7.1分钟，而人类平均为26.5分钟。
📝 摘要（中文）
空中作战依赖复杂的规则、既定程序和在有限连接及严格安全约束下的时间敏感分析。在这种环境中，分析师必须将书面教义与图像结合，通常无法访问外部计算资源。本文研究了离线大型语言模型作为决策支持工具，在孤立和受限的环境中部署，使分析师能够通过自然语言交互访问可追溯至原始来源的教义知识。我们描述了一种适合无互联网连接操作的模块化检索增强架构，支持来自技术手册的文本和图像输入。作为评估该架构的第一步，我们报告了与巴西空军四名图像分析师的初步研究，结合了基于电子目标识别教义的教义知识评估和手动生成侦察目标报告的认知负荷测量。结果显示，手动任务要求高，尤其在心理需求和努力方面，而所提系统在评估中与人类得分相匹配，并在7.1分钟内完成评估，建立了未来AI辅助评估的基线。
🔬 方法详解
问题定义：本文旨在解决在空中作战环境中，分析师面临的复杂规则和时间敏感分析的决策支持问题。现有方法在缺乏外部计算资源的情况下，难以有效结合书面教义与图像信息。
核心思路：论文提出的解决方案是开发一种离线多模态大语言模型架构，能够在无互联网连接的环境中，通过自然语言交互提供可追溯的教义知识，支持分析师的决策过程。
技术框架：整体架构包括模块化的检索增强组件，能够处理来自技术手册的文本和图像输入。系统通过自然语言处理技术与图像识别技术相结合，形成一个完整的决策支持流程。
关键创新：最重要的技术创新在于构建了一个能够在离线环境中有效运作的多模态大语言模型，解决了传统方法在资源受限情况下的局限性。
关键设计：系统设计中采用了特定的参数设置和损失函数，以优化模型在图像和文本输入上的表现，确保其在实际应用中的高效性和准确性。具体的网络结构和训练细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提系统在认知负荷和任务完成时间上表现优异，心理需求评分为6.0/7，努力评分为5.0/7，而系统完成评估的时间为7.1分钟，显著低于人类的平均26.5分钟，证明了其在决策支持中的有效性。
🎯 应用场景
该研究的潜在应用领域包括军事侦察、战场决策支持和紧急响应等场景。通过提供高效的决策支持工具，能够在资源受限的环境中提升分析师的工作效率和决策质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
Air operations rely on complex rules, established procedures, and time-critical analysis under limited connectivity and strict security constraints. In such environments, analysts must combine written doctrine with images, often without access to external computing resources. This paper studies offline large language models as decision support tools, deployed in isolated and restricted environments to give analysts access to doctrinal knowledge that remains traceable to its original sources through natural language interaction. We describe a modular retrieval-augmented architecture suitable for operation without Internet connectivity, supporting both text and image input from technical manuals. As a first step toward evaluating this architecture, we report a pilot study with four image analysts of the Brazilian Air Force, combining (i) a doctrinal knowledge assessment based on their electronic-target identification doctrine, comparing human and proposed system performance on the same test, and (ii) a measurement of the cognitive workload involved in manually producing a reconnaissance target report (Relatório de Missão de Reconhecimento - REMIR) without AI assistance. The results show a demanding manual task, especially in terms of mental demand (6.0/7) and effort (5.0/7), while the proposed system matches the human score (8/10) and completes the assessment in 7.1 minutes (compared to a human average of 26.5 minutes), establishing a baseline for future AI-assisted evaluation. Finally, we describe a future evaluation protocol to systematically compare manual and AI-assisted workflows.