Instruct-ICL: Instruction-Guided In-Context Learning for Post-Disaster Damage Assessment

📄 arXiv: 2605.11439v1 📥 PDF

作者: Armin Zarbaft, Ehsan Karimi, Nhut Le, Maryam Rahnemoonfar

分类: cs.CV, cs.LG

发布日期: 2026-05-12

备注: Accepted by the 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2026)

💡 一句话要点

Instruct-ICL：利用指令引导的上下文学习提升灾后损失评估多模态大语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灾后评估 视觉问答 多模态大语言模型 上下文学习 思维链

📋 核心要点

  1. 现有灾后评估方法依赖于特定任务模型，训练成本高昂，难以满足时效性要求。
  2. 论文提出Instruct-ICL框架，利用MLLM生成指令作为CoT指导，提升另一MLLM的推理可靠性。
  3. 实验表明，该方法在FloodNet数据集上优于零样本基线，验证了指令驱动CoT推理的有效性。

📝 摘要（中文）

在自然灾害期间，快速准确的态势感知对于有效的响应至关重要，分析上的延误会严重阻碍决策。为灾后评估训练特定任务的模型通常耗时且计算成本高昂，这使得此类方法在时间紧迫的情况下不切实际。因此，预训练的多模态大型语言模型（MLLM）已成为灾后视觉问答（VQA）的一种有前途的替代方案，该任务旨在通过联合推理图像和文本来回答有关视觉场景的结构化问题。虽然这些模型展示了强大的多模态推理能力，但它们的响应可能对提示公式敏感，这会限制它们在实际灾害评估场景中的可靠性。在本文中，我们研究了结构化推理策略是否可以提高预训练MLLM在灾后VQA中的可靠性。具体来说，我们探索了多种提示范式，其中一个MLLM用于生成特定于任务的指令，这些指令用作第二个MLLM的思维链（CoT）指导。这些指令在答案生成过程中以不同程度的上下文学习（ICL）进行整合，使模型能够利用显式推理指导和上下文示例。我们在FloodNet数据集上进行了评估，并将这些方法与零样本基线进行了比较。我们的结果表明，整合指令驱动的CoT推理能够持续提高答案准确性。

🔬 方法详解

问题定义：论文旨在解决灾后视觉问答（VQA）任务中，预训练多模态大语言模型（MLLM）因提示敏感性导致的可靠性问题。现有方法依赖于特定任务的训练，耗时且计算资源需求大，无法满足灾后快速响应的需求。直接使用MLLM进行零样本VQA，其性能受提示词影响较大，难以保证结果的准确性和一致性。

核心思路：论文的核心思路是利用一个MLLM生成任务相关的指令，作为思维链（Chain-of-Thought, CoT）的指导，辅助另一个MLLM进行推理和答案生成。通过指令显式地引导模型进行结构化推理，从而降低模型对提示词的敏感性，提高答案的可靠性和准确性。同时，结合上下文学习（In-Context Learning, ICL），使模型能够利用示例进行学习，进一步提升性能。

技术框架：Instruct-ICL框架包含两个MLLM：指令生成器和答案生成器。首先，指令生成器接收灾后图像和问题，生成一系列指令，指导答案生成器如何进行推理。然后，答案生成器接收灾后图像、问题以及指令生成器生成的指令，结合上下文学习的示例，生成最终答案。整体流程是先通过一个MLLM生成指导性指令，再将这些指令作为上下文信息输入到另一个MLLM中，以提高其推理能力。

关键创新：论文的关键创新在于提出了指令引导的上下文学习（Instruct-ICL）框架，将指令生成和答案生成解耦，利用一个MLLM的生成能力来指导另一个MLLM的推理过程。与传统的CoT方法相比，Instruct-ICL能够更灵活地生成任务相关的指令，并将其与上下文学习相结合，从而更好地利用MLLM的知识和推理能力。与直接使用MLLM进行VQA相比，Instruct-ICL通过显式指令引导，降低了模型对提示词的依赖，提高了结果的可靠性。

关键设计：论文的关键设计包括指令生成器的选择、指令的生成方式、上下文学习示例的选择以及答案生成器的配置。指令生成器可以使用预训练的MLLM，通过微调或提示工程来优化其指令生成能力。指令的生成方式可以采用多种策略，例如基于规则的生成、基于模板的生成或基于学习的生成。上下文学习示例的选择需要考虑示例的多样性和代表性，以提高模型的泛化能力。答案生成器也需要选择合适的MLLM，并根据任务需求进行配置。

📊 实验亮点

实验结果表明，Instruct-ICL框架在FloodNet数据集上显著优于零样本基线。通过整合指令驱动的CoT推理，答案准确性得到了持续提高。具体性能提升数据未知，但整体趋势表明该方法在灾后VQA任务中具有显著优势。

🎯 应用场景

该研究成果可应用于灾后快速损失评估、应急响应和救援决策支持等领域。通过提高灾后VQA的准确性和可靠性，可以帮助救援人员快速了解灾情，制定合理的救援计划，从而减少人员伤亡和财产损失。未来，该方法还可以扩展到其他需要快速态势感知的领域，例如自然资源管理、环境监测和城市安全。

📄 摘要（原文）

Rapid and accurate situational awareness is essential for effective response during natural disasters, where delays in analysis can significantly hinder decision-making. Training task-specific models for post-disaster assessment is often time-consuming and computationally expensive, making such approaches impractical in time-critical scenarios. Consequently, pretrained multimodal large language models (MLLMs) have emerged as a promising alternative for post-disaster visual question answering (VQA), a task that aims to answer structured questions about visual scenes by jointly reasoning over images and text. While these models demonstrate strong multimodal reasoning capabilities, their responses can be sensitive to prompt formulation, which can limit their reliability in real-world disaster assessment scenarios. In this paper, we investigate whether structured reasoning strategies can improve the reliability of pretrained MLLMs for post-disaster VQA. Specifically, we explore multiple prompting paradigms in which one MLLM is used to generate task-specific instructions that serve as Chain-of-Thought (CoT) guidance for a second MLLM. These instructions are incorporated during answer generation with varying degrees of in-context learning (ICL), enabling the model to leverage both explicit reasoning guidance and contextual examples. We conduct our evaluation on the FloodNet dataset and compare these approaches against a zero-shot baseline. Our results demonstrate that integrating instruction-driven CoT reasoning consistently improves answer accuracy.