Tool-Augmented Large Language Models for Reliable Medical Calculation from Patient Notes
作者: Yang Zhong, Ling Luo, Xuanlyu Zhu, Yanhua Wang, Yuanyuan Sun, Jian Wang, Hongfei Lin
分类: cs.AI
发布日期: 2026-10-15
备注: Accepted as a regular paper at BIBM2026
💡 一句话要点
提出工具增强的大语言模型以解决医疗计算的可靠性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医疗计算 大语言模型 工具增强 变量提取 临床决策支持 算术推理 可执行工具
📋 核心要点
- 现有方法在将医疗计算器应用于自由格式患者记录时，面临变量提取和复杂公式执行的挑战，导致计算不可靠。
- 论文提出了一种工具增强的大语言模型框架，通过结构化计算器规范和可执行工具生成，解决了变量提取和计算执行的分离问题。
- 在MedCalc-Bench数据集上的评估显示，提出的方法最终答案准确率达到86.73%，显著优于现有基线，提升幅度达到24.0和17.27个百分点。
📝 摘要（中文）
医疗计算器将原始患者观察数据转化为可临床应用的数值和评分。然而，直接将这些计算器应用于自由格式的患者记录需要精确的变量提取以及复杂公式、评分规则和输出约定的准确执行。仅依赖直接的大语言模型提示在此背景下是不可靠的，因为规则回忆、参数提取、算术推理和格式化在单一生成步骤中交织在一起。为了解决这些局限性，本文提出了一种工具增强的大语言模型框架，用于从患者记录中可靠地进行医疗计算。该框架检索和结构化计算器规范，生成可重用的可执行工具，并使用约束提取器将每个患者记录映射到计算器准备好的输入。经过MedCalc-Bench数据集评估，我们的方法最终答案准确率达到86.73%，比单次提示和仅监督微调的基线高出24.0和17.27个百分点。消融和错误分析表明，这些性能提升主要源于基于规则的工具合成和模式约束提取，而剩余的失败主要集中在临床语义提取和基准特定输出契约上。
🔬 方法详解
问题定义：本文旨在解决将医疗计算器应用于自由格式患者记录时的可靠性问题。现有方法在变量提取、公式执行和结果格式化方面存在显著不足，导致计算结果不准确。
核心思路：论文的核心思路是通过工具增强的大语言模型框架，将计算器逻辑与可执行工具相结合，分离临床语言理解与规则执行和算术运算，从而提高计算的可靠性。
技术框架：该框架主要包括三个模块：首先，检索和结构化计算器规范；其次，生成可重用的可执行工具；最后，使用约束提取器将患者记录映射到计算器准备好的输入。
关键创新：最重要的技术创新点在于基于规则的工具合成和模式约束提取，这一设计使得计算过程中的算术推理和规则执行得以分离，显著减少了算术幻觉的发生。
关键设计：在技术细节方面，论文强调了约束提取器的设计，确保从患者记录中提取的变量符合计算器的输入要求，同时使用了特定的损失函数来优化工具生成的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在MedCalc-Bench数据集上取得了86.73%的最终答案准确率，相较于单次提示和仅监督微调的基线，分别提升了24.0和17.27个百分点，验证了工具增强框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括医疗记录分析、临床决策支持系统和智能医疗助手等。通过提高医疗计算的可靠性，能够有效支持医生在临床环境中的决策，减少人为错误，提升患者护理质量。未来，该方法有望扩展到其他领域的复杂计算任务中。
📄 摘要（原文）
Medical calculators translate raw patient observations into clinically actionable values and scores. However, applying these calculators directly to free-form patient notes requires precise variable extraction combined with the exact execution of complex formulas, scoring rules, and output conventions. Relying solely on direct large language model (LLM) prompting is unreliable in this context, as rule recall, parameter extraction, arithmetic reasoning, and formatting become entangled within a single generative step. To address these limitations, we propose a tool-augmented LLM framework for reliable medical calculation from patient notes. The framework retrieves and structures calculator specifications, generates reusable executable tools, and uses a constrained extractor to map each patient note to calculator-ready inputs. The tools then perform deterministic calculation, separating clinical language understanding from rule execution and arithmetic. Evaluated on the MedCalc-Bench dataset, our method achieves 86.73% final-answer accuracy, outperforming the one-shot prompting and supervised fine tuning-only baselines by 24.0 and 17.27 percentage points. Ablation and error analyses show that these performance gains are primarily driven by rule-grounded tool synthesis and schema-constrained extraction, whereas remaining failures are concentrated in clinical-semantic extraction and benchmark-specific output contracts. By grounding calculator logic in executable tools, the proposed approach alleviates arithmetic hallucinations and improves the computational reliability of the final clinical outputs.