FRIDA to the Rescue! Analyzing Synthetic Data Effectiveness in Object-Based Common Sense Reasoning for Disaster Response

📄 arXiv: 2502.18452v3 📥 PDF

作者: Mollie Shichman, Claire Bonial, Austin Blodgett, Taylor Hudson, Francis Ferraro, Rachel Rudinger

分类: cs.CL, cs.AI

发布日期: 2025-02-25 (更新: 2025-09-03)

备注: 8 pages, 3 figures, 5 tables

💡 一句话要点

FRIDA：利用合成数据提升LLM在灾难响应中基于对象的常识推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灾难响应 人机交互 常识推理 合成数据 少样本学习

📋 核心要点

  1. 大型语言模型在灾难响应机器人中潜力巨大，但现有模型体积庞大，难以部署在资源受限的机器人平台上。
  2. 论文提出FRIDA流程，通过领域专家构建高质量少样本提示，生成合成数据来微调小型语言模型，提升其物理常识推理能力。
  3. 实验表明，仅使用对象物理状态和功能数据训练的FRIDA模型，性能优于使用全部合成数据训练的模型和基线模型。

📝 摘要（中文）

大型语言模型(LLMs)在灾难救援场景的人机交互中，具有进行实质性物理推理以辅助任务目标实现的潜力。然而，这些推理能力通常只存在于大型模型中，由于尺寸限制，目前无法合理地部署在机器人系统上。为了满足我们的问题空间需求，我们引入了一个数据集和流程来创建Field Reasoning and Instruction Decoding Agent (FRIDA)模型。在我们的流程中，领域专家和语言学家结合他们的知识，制作高质量的少样本提示，用于生成合成数据进行微调。我们手工策划数据集用于少样本提示和评估，以提高LLM对通用和灾难特定对象的推理能力。我们同时进行了一项消融研究，以了解哪种类型的合成数据对性能影响最大。我们微调了几个小型指令调优模型，发现仅在对象的物理状态和功能数据上训练的消融FRIDA模型，在我们的评估中优于在所有合成数据上训练的FRIDA模型和基础模型。我们证明了FRIDA流程能够以最少的数据灌输物理常识。

🔬 方法详解

问题定义：论文旨在解决灾难响应场景下，如何在资源受限的机器人平台上部署具有物理常识推理能力的大型语言模型的问题。现有方法依赖于大型模型，计算成本高，难以在机器人上部署。此外，缺乏针对灾难场景的特定数据，导致模型推理能力不足。

核心思路：论文的核心思路是利用合成数据，通过微调小型语言模型，使其具备在灾难响应场景下进行基于对象的物理常识推理能力。通过领域专家和语言学家构建高质量的少样本提示，生成针对性的合成数据，从而避免了对大量真实数据的依赖。

技术框架：FRIDA流程包含以下几个主要阶段：1) 领域专家和语言学家合作，构建高质量的少样本提示；2) 使用少样本提示生成合成数据，包括通用对象和灾难特定对象；3) 对小型指令调优模型进行微调，使用生成的合成数据；4) 使用手工策划的评估数据集评估模型性能；5) 进行消融研究，分析不同类型的合成数据对模型性能的影响。

关键创新：论文的关键创新在于提出了一种利用合成数据提升小型语言模型物理常识推理能力的方法，特别是在灾难响应这种数据稀缺的场景下。通过领域专家和语言学家参与构建少样本提示，保证了合成数据的质量和针对性。此外，消融研究揭示了对象物理状态和功能数据对模型性能的影响，为后续模型优化提供了指导。

关键设计：论文的关键设计包括：1) 少样本提示的设计，需要领域专家和语言学家共同参与，确保提示的准确性和有效性；2) 合成数据的生成策略，需要平衡通用对象和灾难特定对象的数据量；3) 消融研究的设计，需要选择合适的合成数据类型进行对比，以评估其对模型性能的影响。论文中使用了多个小型指令调优模型，并针对不同的合成数据进行了微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，仅使用对象物理状态和功能数据训练的FRIDA模型，在评估中优于使用全部合成数据训练的FRIDA模型和基线模型。这表明，针对性地选择合成数据可以显著提升模型的性能，并且FRIDA流程能够以最少的数据灌输物理常识。

🎯 应用场景

该研究成果可应用于灾难响应机器人、智能家居、自动驾驶等领域。通过赋予机器人更强的物理常识推理能力，可以使其更好地理解环境、执行任务，并与人类进行更自然的交互。在灾难响应中，可以帮助机器人识别和操作各种对象，从而提高救援效率和安全性。

📄 摘要（原文）

During Human Robot Interactions in disaster relief scenarios, Large Language Models (LLMs) have the potential for substantial physical reasoning to assist in mission objectives. However, these reasoning capabilities are often found only in larger models, which are not currently reasonable to deploy on robotic systems due to size constraints. To meet our problem space requirements, we introduce a dataset and pipeline to create Field Reasoning and Instruction Decoding Agent (FRIDA) models. In our pipeline, domain experts and linguists combine their knowledge to make high-quality, few-shot prompts used to generate synthetic data for fine-tuning. We hand-curate datasets for this few-shot prompting and for evaluation to improve LLM reasoning on both general and disaster-specific objects. We concurrently run an ablation study to understand which kinds of synthetic data most affect performance. We fine-tune several small instruction-tuned models and find that ablated FRIDA models only trained on objects' physical state and function data outperformed both the FRIDA models trained on all synthetic data and the base models in our evaluation. We demonstrate that the FRIDA pipeline is capable of instilling physical common sense with minimal data.