Designing an Evaluation Framework for Large Language Models in Astronomy Research

📄 arXiv: 2405.20389v1 📥 PDF

作者: John F. Wu, Alina Hyk, Kiera McCormick, Christine Ye, Simone Astarita, Elina Baral, Jo Ciuca, Jesse Cranney, Anjalie Field, Kartheik Iyer, Philipp Koehn, Jenn Kotler, Sandor Kruk, Michelle Ntampaka, Charles O'Neill, Joshua E. G. Peek, Sanjib Sharma, Mikaeel Yunus

分类: astro-ph.IM, cs.AI, cs.HC, cs.IR

发布日期: 2024-05-30

备注: 7 pages, 3 figures. Code available at https://github.com/jsalt2024-evaluating-llms-for-astronomy/astro-arxiv-bot

💡 一句话要点

构建天文学领域大语言模型评估框架，促进科研应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 天文学 评估框架 检索增强生成 人机交互

📋 核心要点

  1. 现有LLM在天文学领域的应用缺乏标准化的评估方法，阻碍了其有效应用。
  2. 论文提出了一种基于Slack聊天机器人的实验框架，通过RAG技术为用户提供天文学知识问答。
  3. 该框架记录用户交互数据，包括问题、答案、反馈和检索信息，为动态评估LLM工具提供数据基础。

📝 摘要（中文）

大型语言模型（LLM）正在改变科学研究的方式。理解研究人员如何与这些模型互动，以及天文学等科学子领域如何从中受益至关重要。然而，目前还没有评估LLM在天文学中使用的标准。因此，我们提出了一个实验设计，用于评估天文学研究人员如何与LLM互动。我们部署了一个Slack聊天机器人，它可以通过检索增强生成（RAG）回答用户的问题；这些回答基于arXiv上的天文学论文。我们记录并匿名化用户问题和聊天机器人答案、用户对LLM回复的赞成和反对投票、用户对LLM的反馈，以及检索到的文档和与查询的相似性得分。我们的数据收集方法将能够对天文学的LLM工具进行未来的动态评估。

🔬 方法详解

问题定义：目前缺乏针对天文学领域LLM应用效果的标准化评估方法。现有方法难以量化研究人员与LLM的交互方式，以及LLM对天文学研究的实际贡献。这阻碍了LLM在天文学领域的有效应用和进一步发展。

核心思路：论文的核心思路是构建一个可控的实验环境，通过记录和分析研究人员与LLM的交互数据，来评估LLM在天文学研究中的表现。通过收集用户的问题、LLM的回答、用户的反馈以及检索到的相关文档，可以全面了解LLM的优势和不足。

技术框架：该框架的核心是一个基于Slack的聊天机器人，它通过检索增强生成（RAG）技术来回答用户关于天文学的问题。用户通过Slack与机器人交互，提出问题并对LLM的回答进行评价（赞成/反对投票，以及文本反馈）。系统记录所有交互数据，包括用户问题、LLM回答、用户反馈、检索到的文档以及文档与查询的相似度得分。这些数据被匿名化处理，以保护用户隐私。

关键创新：该研究的关键创新在于其数据收集方法，它能够动态地评估LLM工具在天文学领域的应用。通过记录用户与LLM的交互过程，可以深入了解LLM在回答天文学问题时的表现，并识别其潜在的改进方向。此外，该框架还提供了一种标准化的评估流程，可以用于比较不同LLM工具的性能。

关键设计：该框架的关键设计包括：1) 使用RAG技术，确保LLM的回答基于可靠的天文学文献（arXiv论文）；2) 详细记录用户与LLM的交互数据，包括问题、答案、反馈和检索信息；3) 对数据进行匿名化处理，保护用户隐私；4) 提供用户评价机制（赞成/反对投票，文本反馈），以便收集用户对LLM回答的直接评价。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究构建了一个基于Slack的聊天机器人，并采用检索增强生成（RAG）技术，使得LLM能够基于arXiv上的天文学论文回答用户问题。通过记录和分析用户与LLM的交互数据，为动态评估LLM在天文学领域的应用提供了可能。该框架为后续研究提供了宝贵的数据集和评估方法。

🎯 应用场景

该研究成果可应用于天文学教育、科研辅助和知识普及等领域。通过构建智能问答系统，可以帮助学生和研究人员快速获取天文学知识，提高科研效率。此外，该框架还可以推广到其他科学领域，为LLM在科学研究中的应用提供参考。

📄 摘要（原文）

Large Language Models (LLMs) are shifting how scientific research is done. It is imperative to understand how researchers interact with these models and how scientific sub-communities like astronomy might benefit from them. However, there is currently no standard for evaluating the use of LLMs in astronomy. Therefore, we present the experimental design for an evaluation study on how astronomy researchers interact with LLMs. We deploy a Slack chatbot that can answer queries from users via Retrieval-Augmented Generation (RAG); these responses are grounded in astronomy papers from arXiv. We record and anonymize user questions and chatbot answers, user upvotes and downvotes to LLM responses, user feedback to the LLM, and retrieved documents and similarity scores with the query. Our data collection method will enable future dynamic evaluations of LLM tools for astronomy.