Benchmarking Fine-tuning and Retrieval Strategies for a Multimodal Language Model on the NRC Reactor Operator Licensing Examination

📄 arXiv: 2607.22067v1 📥 PDF

作者: Isak Hwang, Yoon Pyo Lee

分类: cs.CL, cs.AI

发布日期: 2026-07-24

💡 一句话要点

评估多模态语言模型在核电行业的应用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 核电行业 监督微调 检索增强生成 考试评估 领域知识应用 模型性能提升

📋 核心要点

  1. 现有的大型语言模型在核电行业应用时，缺乏针对特定领域知识的有效输出，导致其在专业考试中的表现不佳。
  2. 论文提出通过对多模态模型进行监督微调和检索增强生成等策略，提升模型在核电领域的知识应用能力。
  3. 实验结果显示，经过微调的模型在14个考试中有8个达标，整体准确率达到79.7%，显示出显著的性能提升。

📝 摘要（中文）

本研究评估了一种具有31亿参数的开放权重多模态模型（Gemma 4 31B-IT）在核电行业的应用能力，特别是在美国核管理委员会（NRC）反应堆操作员执照考试中的表现。通过对八种模型检索配置进行基准测试，研究发现，使用监督微调（SFT）和固定大小滑动窗口分块的配置在14个考试中有8个达到了80%的及格标准，整体准确率为79.7%。此外，研究还揭示了不同训练状态下的分块策略偏好及RAFT相较于标准SFT的表现不佳。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在核电行业应用时缺乏领域特定知识输出的问题。现有方法在专业考试中的表现不理想，未能满足行业需求。

核心思路：论文通过对多模态模型进行监督微调（SFT）和检索增强生成（RAG）等策略，结合领域知识，提升模型在核电考试中的表现。

技术框架：整体架构包括基础模型、监督微调模块、检索增强生成模块及评估模块。通过对模型进行不同配置的比较，评估其在考试中的表现。

关键创新：最重要的创新在于提出了结合固定大小滑动窗口分块与监督微调的配置，该配置在多个考试中表现优异，超越了其他所有配置。

关键设计：在模型训练中，采用了固定大小的分块策略，并使用了基于BM25的稀疏检索方法，确保了检索过程的高效性与准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，使用固定大小分块的SFT配置在14个考试中有8个达到了80%的及格标准，整体准确率为79.7%，在压水堆项目中更是达到了80.2%。这些结果表明，优化的微调与检索策略能够显著提升模型的专业应用能力。

🎯 应用场景

该研究的成果可广泛应用于核电行业的培训与考试中，帮助提升反应堆操作员的知识水平和应试能力。此外，这种多模态模型的应用潜力也可扩展至其他领域的专业知识评估与培训，具有重要的实际价值和未来影响。

📄 摘要（原文）

The integration of large language models (LLMs) into the nuclear power industry requires outputs grounded in domain-specific knowledge. This study evaluates a 31-billion-parameter open-weight multimodal model (Gemma 4 31B-IT) on its capacity to apply nuclear knowledge by benchmarking eight model-retrieval configurations against the U.S. Nuclear Regulatory Commission (NRC) Reactor Operator licensing examination. We evaluate 14 Generic Fundamentals Examinations (GFE) from the 2015-2021 March sittings (seven pressurized and seven boiling water reactor exams) using the standard 80% human passing criterion. The base model is compared against configurations utilizing supervised fine-tuning (SFT) on Gemini-distilled chain-of-thought (CoT) rationales, retrieval-augmented generation (RAG) with BM25 sparse retrieval over the U.S. Department of Energy Fundamentals Handbook, and retrieval-augmented fine-tuning (RAFT). Within the retrieval pipeline, we compare fixed-size sliding-window chunking against structure-aware chunking. The SFT configuration with fixed-size chunking RAG met the criterion on 8 of the 14 examinations, outperforming all alternatives, whereas no configuration without fine-tuning passed any. Aggregate accuracy reached 79.7%, with a confidence interval spanning the threshold, and 80.2% on PWR items specifically. Furthermore, two regularities emerged: the preferred chunking strategy reverses depending on the model's training state, and RAFT underperforms compared to standard SFT in matching search environments. These results demonstrate which combination of fine-tuning and search approaches achieves operator-level capabilities.