On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor
作者: Sidney Shapiro, Joshua Lindemann
分类: cs.AI, cs.IR
发布日期: 2026-10-01
备注: 23 pages, 3 figures, 4 tables
💡 一句话要点
提出基于RAG的校园AI辅导系统以提升商业教育效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 校园AI辅导 检索增强生成 商业教育 本地部署 学习支持 模型选择 教育技术
📋 核心要点
- 现有的校园AI辅导系统在速度和准确性上存在不足，无法有效支持商业教育的多样化需求。
- CourseChat通过在校园基础设施内实现本地部署，结合多课程内容和AI技术，提供了一个高效的学习辅导工具。
- 实验结果显示，12B和7B模型在课堂速度测试中表现良好，软件改进提升了后续主题的解析能力。
📝 摘要（中文）
基于检索增强生成（RAG）的校园AI辅导系统必须将答案与指定课程材料相结合，同时保持教科书和学生对话在机构基础设施内。本文介绍了CourseChat，一个针对本科商业教育的本地多课程RAG辅导系统，部署在校园网络网关后，旨在嵌入Moodle中。六个独立的课程通过双边AI主机共享，运行FastAPI服务、本地向量数据库和由Ollama提供的本地大型语言模型（LLM）。我们报告了两轮生成模型的比较、固定证据源的比较以及对话和测验审计。虽然一些较大的模型未能通过课堂速度测试，但12B模型和7B替代方案通过了。软件改进提高了后续主题的解决能力，同时保持了课程范围；在65个模块中预构建了435个问题，将练习与实时生成解耦。结果支持将模型选择、证据选择、服务兼容性和产品设计视为联合工程决策。
🔬 方法详解
问题定义：本文旨在解决现有校园AI辅导系统在速度和准确性上的不足，特别是在商业教育领域的应用。现有方法无法有效整合课程材料与学生互动，导致学习效果不佳。
核心思路：CourseChat的核心思路是通过本地部署的RAG模型，结合课程材料和学生对话，提供实时的学习支持。该系统设计为嵌入Moodle，确保数据安全和快速响应。
技术框架：CourseChat的整体架构包括双边AI主机、FastAPI服务、本地向量数据库和Ollama提供的LLM。六个课程通过各自的课程参考号（CRN）进行管理，确保内容的独立性和针对性。
关键创新：最重要的技术创新在于将模型选择、证据选择和产品设计视为一个联合工程决策，从而优化了整体性能。与现有方法相比，CourseChat在速度和准确性上有显著提升。
关键设计：在模型选择上，保留了8B生产模型，经过多轮测试和比较，确保其在课堂应用中的有效性。同时，软件改进增强了后续主题的解析能力，预构建问题的设计使得练习与实时生成解耦。
🖼️ 关键图片
📊 实验亮点
实验结果表明，12B和7B模型在课堂速度测试中表现优异，成功通过速度门槛。软件改进后，后续主题的解析能力显著提升，435个预构建问题有效解耦了练习与实时生成，增强了系统的实用性。
🎯 应用场景
该研究的潜在应用领域包括高等教育中的商业课程辅导、在线学习平台的智能助教系统等。通过提供个性化的学习支持，CourseChat有助于提升学生的学习效果和参与度，未来可能在其他学科的教育中推广应用。
📄 摘要（原文）
Campus AI tutors based on retrieval-augmented generation (RAG) must ground answers in assigned course materials while keeping textbooks and student dialogue on institutional infrastructure. We present CourseChat, an on-premises, multi-course RAG tutor for undergraduate business education, deployed behind a campus web gateway and intended for use embedded in Moodle. Six isolated course offerings, each keyed by its own course reference number (CRN), share twin-edge AI hosts running a FastAPI service, a local vector database, and a local large language model (LLM) served by Ollama. We report two generation-model bake-off rounds, a separate fixed-evidence source-fidelity comparison, and conversation and quiz audits. Several larger models failed the classroom speed gate, but a 12B model and a 7B alternative passed. A separate mixture-of-experts candidate improved some corrections while introducing new factual and continuity errors. We therefore retain the 8B production model pending a demonstrated overall improvement, rather than claiming that 8B is universally optimal. Software changes improved follow-up topic resolution while preserving course scope; 435 prebuilt questions across 65 modules decouple practice from live generation. The results support treating model choice, evidence selection, serving compatibility, and product design as a joint engineering decision. They do not establish learning gains: faculty ratings, peak-load capacity, and complete public-gateway acceptance remain separate evaluation needs.