Taking the PULSE of Medical Reasoning: Step-Level Retrieval Timing for Knowledge-Grounded Inference
作者: Danyang Zhao, Sendong Zhao, Yanrui Du, Haochun Wang, Ming Ma, Wenhao Li, Jingbo Wang, Jiatong Liu, Bing Qin
分类: cs.CL
发布日期: 2026-10-14
💡 一句话要点
提出PUlSE以解决医学推理中的检索时机问题
🎯 匹配领域: 支柱八:物理动画 (Physics-based Animation)
关键词: 医学推理 大型语言模型 动态检索 内部表示 自适应触发
📋 核心要点
- 现有方法在医学推理中面临检索时机问题,盲目检索可能导致噪声和延迟,影响推理准确性。
- 论文提出PUlSE,通过模型内部表示作为信号,动态控制检索时机,提升推理的可靠性。
- 实验结果表明,PUlSE在四个医学基准上准确性与逐步检索相当,同时减少检索调用72%,具备领域迁移能力。
📝 摘要(中文)
可靠的医学推理要求大型语言模型(LLMs)动态访问外部生物医学证据,以提高事实可信度和推理准确性。然而,盲目检索可能引入噪声和延迟,导致检索时机问题:系统必须在每个推理步骤中决定内部知识是否可靠或是否需要外部证据。我们提出了PUlSE,这是一种轻量级探测方法,利用模型的内部表示作为步骤级检索控制的内在信号。我们的后验轨迹分析表明,错误步骤的层间波动性显著高于正确步骤,暗示内部知识的不稳定性。基于这一发现,PUlSE在层间几何特征上训练了一个紧凑的探测器,以检测事实错误,并将其作为检索和步骤再生的自适应触发器。在四个医学基准测试中,PUlSE定时检索的准确性与逐步检索相匹配,同时减少了72%的检索调用,并能够迁移到未见的法律领域,显示出潜在的领域无关性。总体而言,我们的研究为将检索触发设计从表面信心估计转向内部激活动态以实现自适应访问提供了初步步骤。
🔬 方法详解
问题定义:本论文旨在解决医学推理中检索时机不当的问题。现有方法在推理过程中盲目检索外部证据,可能导致噪声和延迟,从而影响推理的准确性和可靠性。
核心思路:论文的核心思路是利用模型内部表示作为内在信号,动态控制检索的时机。通过分析推理步骤的后验轨迹,识别出错误步骤与正确步骤之间的层间波动性差异,从而决定是否需要外部证据。
技术框架:整体架构包括数据输入、内部表示提取、层间几何特征分析、错误检测与检索触发模块。首先提取模型的内部表示,然后通过分析其几何特征来判断推理的可靠性,最后根据判断结果决定是否进行外部检索。
关键创新:最重要的技术创新点在于将检索触发设计从表面信心估计转向内部激活动态。这种方法通过层间几何特征的探测,能够更准确地判断何时需要外部证据,从而提高推理的准确性和效率。
关键设计:在模型设计中,采用了紧凑的探测器来分析层间几何特征,并设置了适应性触发机制。损失函数设计上,考虑了推理准确性与检索调用次数的平衡,以优化整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示,PUlSE在四个医学基准测试中,其定时检索的准确性与逐步检索相当,同时减少了72%的检索调用。这一显著提升表明PUlSE在提高推理效率和准确性方面具有重要价值,并且能够有效迁移到未见的法律领域。
🎯 应用场景
该研究的潜在应用领域包括医学诊断、临床决策支持系统以及法律推理等。通过提高推理过程中的检索效率和准确性,PUlSE能够为医疗和法律领域提供更可靠的智能辅助工具,未来可能推动相关领域的智能化进程。
📄 摘要(原文)
Reliable medical reasoning requires LLMs to dynamically access external biomedical evidence to improve factual trustworthiness and reasoning accuracy. However, indiscriminate retrieval can introduce noise and latency, raising a critical retrieval-timing problem: at each reasoning step, the system must decide whether the model's internal knowledge is reliable or external evidence is needed. We propose PUlSE, a lightweight probing method that uses the model's internal representations as intrinsic signals for step-level retrieval control. Our posterior trajectory analysis reveals that erroneous steps exhibit substantially higher inter-layer volatility than correct ones, suggesting unstable internal knowledge. Based on this finding, PUlSE trains a compact probe on inter-layer geometric features to detect factual errors upon step completion, and uses it as an adaptive trigger for retrieval and step regeneration. Across four medical benchmarks, PUlSE-timed retrieval matches exhaustive per-step retrieval in accuracy while reducing retrieval calls by 72%, and can transfer to an unseen legal domain, indicating potential domain-agnostic generality. Overall, our study provides an initial step toward shifting retrieval-trigger design from surface-level confidence estimates to internal activation dynamics for adaptive access.