Hallucination-Resistant, Domain-Specific Research Assistant with Self-Evaluation and Vector-Grounded Retrieval

📄 arXiv: 2510.02326v1 📥 PDF

作者: Vivek Bhavsar, Joseph Ereifej, Aravanan Gurusami

分类: cs.CL, cs.AI

发布日期: 2025-09-25

备注: 21 pages, 5 figures

💡 一句话要点

提出RA-FSM，一种抗幻觉、领域特定的研究助手，通过自评估和向量检索提升专家工作流效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 研究助手 大型语言模型 幻觉抑制 向量检索 有限状态机 领域知识库 光子学

📋 核心要点

  1. 现有大型语言模型在文献综述中存在幻觉和错误引用的问题，影响了其在专业领域的应用。
  2. RA-FSM通过有限状态控制循环（相关性、置信度、知识）和向量检索，增强了答案的可靠性和可信度。
  3. 实验表明，RA-FSM在光子学领域的多个任务中优于Notebook LM和vanilla GPT，并提供了更可靠的证据支持。

📝 摘要（中文）

大型语言模型加速了文献综述，但存在幻觉和错误引用的问题，限制了其在专家工作流程中的应用。本文提出RA-FSM（研究助手-有限状态机），一个基于GPT的模块化研究助手，它将生成过程封装在一个有限状态控制循环中：相关性 -> 置信度 -> 知识。该系统基于向量检索和一个确定性的引用管道。控制器过滤超出范围的查询，评估可回答性，分解问题，并在需要时触发检索，并以置信度标签和语料库内的去重参考文献输出答案。一个分级摄取工作流程从期刊、会议、索引、预印本和专利构建领域知识库，同时写入密集向量索引和规范化指标的关系存储。我们在光子学领域实现了该系统，并在六个任务类别上对其进行了评估：分析推理、数值分析、方法论批判、比较综合、事实提取和应用设计。在盲法A/B评估中，领域专家更喜欢RA-FSM，而不是强大的Notebook LM（NLM）和vanilla Default GPT API调用单次基线，理由是RA-FSM具有更强的边界条件处理能力和更可靠的证据使用。覆盖率和新颖性分析表明，RA-FSM探索的范围超出了NLM，同时产生了可调的延迟和成本开销。该设计强调透明、充分引用的答案，适用于高风险的技术工作，并且可以推广到其他科学领域。

🔬 方法详解

问题定义：现有的大型语言模型在文献综述和研究辅助方面表现出潜力，但其固有的幻觉问题，即生成不真实或不准确的信息，以及错误引用文献，严重限制了它们在需要高度准确性和可信度的专业研究工作流程中的应用。现有的方法难以保证答案的可靠性和可追溯性，使得专家难以信任和使用这些工具。

核心思路：RA-FSM的核心思路是通过引入一个有限状态控制循环来约束和引导语言模型的生成过程，从而减少幻觉的产生。该循环包含三个关键状态：相关性、置信度和知识。通过在每个状态进行评估和过滤，确保只有相关、可信和有据可查的信息才能最终输出。此外，系统还依赖于向量检索来增强知识的获取和验证。

技术框架：RA-FSM的整体架构包含以下主要模块： 1. 查询处理模块：负责接收用户查询，并进行初步的过滤和分解。 2. 有限状态控制器：控制整个生成过程，根据当前状态和评估结果决定下一步的动作。 3. 向量检索模块：从预先构建的领域知识库中检索相关信息。 4. 生成模块：基于检索到的信息和控制器的指导，生成答案。 5. 引用管道：负责对生成的答案进行引用标注，并进行去重处理。

关键创新：RA-FSM最重要的技术创新点在于其有限状态控制循环，它将生成过程分解为多个可控的阶段，并在每个阶段进行评估和过滤。这种方法能够有效地减少幻觉的产生，并提高答案的可靠性和可信度。与传统的单次生成方法相比，RA-FSM能够更好地处理边界条件，并提供更可靠的证据支持。

关键设计：RA-FSM的关键设计包括： 1. 领域知识库的构建：通过分级摄取工作流程，从期刊、会议、索引、预印本和专利等来源构建领域知识库，并同时写入密集向量索引和关系存储。 2. 有限状态控制器的状态转移规则：定义了不同状态之间的转移条件，以及在每个状态需要执行的操作。 3. 置信度评估方法：用于评估生成答案的置信度，并决定是否需要进行进一步的检索或生成。

📊 实验亮点

在光子学领域的六个任务类别评估中，领域专家在盲法A/B评估中更倾向于RA-FSM，而不是Notebook LM和vanilla Default GPT API。专家认为RA-FSM具有更强的边界条件处理能力和更可靠的证据使用。覆盖率和新颖性分析表明，RA-FSM探索的范围超出了NLM，同时产生了可调的延迟和成本开销。

🎯 应用场景

RA-FSM可应用于各种需要高精度和可信度的科学研究领域，例如医学、工程学和法律等。它可以帮助研究人员快速准确地找到所需的信息，并减少因幻觉和错误引用而导致的错误。该系统还可以用于教育领域，帮助学生学习和理解复杂的概念。

📄 摘要（原文）

Large language models accelerate literature synthesis but can hallucinate and mis-cite, limiting their usefulness in expert workflows. We present RA-FSM (Research Assistant - Finite State Machine), a modular GPT-based research assistant that wraps generation in a finite-state control loop: Relevance -> Confidence -> Knowledge. The system is grounded in vector retrieval and a deterministic citation pipeline. The controller filters out-of-scope queries, scores answerability, decomposes questions, and triggers retrieval only when needed, and emits answers with confidence labels and in-corpus, de-duplicated references. A ranked-tier ingestion workflow constructs a domain knowledge base from journals, conferences, indices, preprints, and patents, writing both to a dense vector index and to a relational store of normalized metrics. We implement the system for photonics and evaluate it on six task categories: analytical reasoning, numerical analysis, methodological critique, comparative synthesis, factual extraction, and application design. In blinded A/B reviews, domain experts prefer RA-FSM to both a strong Notebook LM (NLM) and a vanilla Default GPT API call single-pass baseline, citing stronger boundary-condition handling and more defensible evidence use. Coverage and novelty analyses indicate that RA-FSM explores beyond the NLM while incurring tunable latency and cost overheads. The design emphasizes transparent, well-cited answers for high-stakes technical work and is generalizable to other scientific domains.