AdvisingWise: Supporting Academic Advising in Higher Education Settings Through a Human-in-the-Loop Multi-Agent Framework

📄 arXiv: 2511.05706v2 📥 PDF

作者: Wendan Jiang, Shiyuan Wang, Hiba Eltigani, Rukhshan Haroon, Abdullah Bin Faisal, Fahad Dogar

分类: cs.HC, cs.AI

发布日期: 2025-11-07 (更新: 2025-12-02)

备注: 18 pages, 6 figures

💡 一句话要点

AdvisingWise：一种人机协同的多智能体框架，用于支持高等教育中的学业指导

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 学业指导 多智能体系统 人机协同 大型语言模型 信息检索

📋 核心要点

  1. 现有学业指导面临师生比例高、导师工作量大等挑战，难以提供及时有效的个性化支持。
  2. AdvisingWise通过多智能体系统，自动化信息检索和回复起草等任务，同时保留人工审核环节。
  3. 实验表明，AdvisingWise能生成准确的个性化回复，并提升导师对系统可靠性和实用性的信心。

📝 摘要（中文）

学业指导对高等教育中学生的成功至关重要，但师生比例过高限制了导师提供及时支持的能力，尤其是在高峰期。大型语言模型（LLM）的最新进展为增强指导过程提供了机会。我们提出了AdvisingWise，一个多智能体系统，可以自动执行耗时的任务，例如信息检索和响应起草，同时保留人工监督。AdvisingWise利用权威的机构资源，并自适应地提示学生提供他们的学术背景，以生成可靠的、个性化的响应。所有系统响应在交付给学生之前都要经过人工导师的验证。我们通过混合方法评估AdvisingWise：（1）对20个样本查询的响应进行专家评估，（2）对信息检索策略进行LLM作为评判者的评估，以及（3）与8位学业导师进行用户研究，以评估系统的实际效用。我们的评估表明，AdvisingWise产生准确、个性化的响应。导师在使用AdvisingWise后，对其看法越来越积极，因为他们最初对可靠性和个性化的担忧有所减少。最后，我们讨论了人机协同对学业指导实践的影响。

🔬 方法详解

问题定义：论文旨在解决高等教育中，由于师生比例过高导致学业导师难以高效地为学生提供个性化指导的问题。现有方法主要依赖人工，效率低下，且难以保证信息的一致性和准确性。导师需要花费大量时间检索信息、起草回复，尤其是在咨询高峰期，工作负担沉重。

核心思路：论文的核心思路是构建一个人机协同的多智能体系统，利用大型语言模型（LLM）自动执行信息检索和回复起草等重复性任务，从而减轻导师的工作负担。同时，保留人工审核环节，确保回复的准确性和个性化，并提升导师对系统的信任度。通过人机协同，提高学业指导的效率和质量。

技术框架：AdvisingWise系统包含以下主要模块：1) 学生查询接收模块：接收学生的学业咨询问题。2) 信息检索模块：利用权威的机构资源，检索与学生问题相关的知识。3) 回复生成模块：基于检索到的信息和学生的学术背景，利用LLM生成初步回复。4) 人工审核模块：学业导师审核LLM生成的回复，进行修改和完善。5) 回复发送模块：将最终回复发送给学生。整个流程强调人机协同，LLM负责自动化任务，导师负责把关和个性化。

关键创新：该论文的关键创新在于将多智能体系统和人机协同理念应用于学业指导领域。具体体现在：1) 利用LLM自动化信息检索和回复起草，显著提高效率。2) 强调人工审核环节，确保回复的准确性和个性化，增强导师的信任感。3) 系统能够自适应地提示学生提供学术背景信息，从而生成更具针对性的回复。

关键设计：论文中未明确给出关键参数设置、损失函数、网络结构等技术细节。但可以推断，LLM的选择和微调、信息检索策略的设计、以及人机交互界面的优化是关键的设计要素。此外，如何有效地将机构知识库融入LLM，并设计合适的提示工程（prompt engineering）以引导LLM生成高质量的回复，也是重要的技术细节（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AdvisingWise能够生成准确且个性化的回复。专家评估显示，系统生成的回复质量较高。LLM作为评判者的评估也验证了信息检索策略的有效性。用户研究表明，学业导师在使用AdvisingWise后，对其可靠性和实用性的评价显著提升，从最初的担忧转变为积极认可。这些结果充分证明了AdvisingWise在学业指导领域的有效性和潜力。

🎯 应用场景

AdvisingWise具有广泛的应用前景，可应用于各类高等教育机构，提升学业指导的效率和质量。该系统能够减轻导师的工作负担，使他们能够将更多精力投入到更具挑战性和创造性的任务中。此外，该系统还可扩展到其他咨询服务领域，例如职业规划、心理辅导等，具有重要的实际价值和未来影响。

📄 摘要（原文）

Academic advising is critical to student success in higher education, yet high student-to-advisor ratios limit advisors' capacity to provide timely support, particularly during peak periods. Recent advances in Large Language Models (LLMs) present opportunities to enhance the advising process. We present AdvisingWise, a multi-agent system that automates time-consuming tasks, such as information retrieval and response drafting, while preserving human oversight. AdvisingWise leverages authoritative institutional resources and adaptively prompts students about their academic backgrounds to generate reliable, personalized responses. All system responses undergo human advisor validation before delivery to students. We evaluate AdvisingWise through a mixed-methods approach: (1) expert evaluation on responses of 20 sample queries, (2) LLM-as-a-judge evaluation of the information retrieval strategy, and (3) a user study with 8 academic advisors to assess the system's practical utility. Our evaluation shows that AdvisingWise produces accurate, personalized responses. Advisors reported increasingly positive perceptions after using AdvisingWise, as their initial concerns about reliability and personalization diminished. We conclude by discussing the implications of human-AI synergy on the practice of academic advising.