Additive Large Language Models for Semi-Structured Text

📄 arXiv: 2511.11922v1 📥 PDF

作者: Karthikeyan K, Raghuveer Thirukovalluru, David Carlson

分类: cs.CL, cs.LG

发布日期: 2025-11-14

💡 一句话要点

提出CALM框架，解决LLM在半结构化临床文本分类中的可解释性问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 大型语言模型 半结构化文本 临床文本分类 加性模型

📋 核心要点

  1. 现有LLM在临床文本分类中缺乏可解释性，难以理解风险信号的来源，阻碍了实际应用。
  2. CALM框架将输入分解为语义组件，通过加性模型预测结果，直接体现各组件的贡献。
  3. CALM在保持与传统LLM相当性能的同时，提升了模型的可解释性、可信度和可审计性。

📝 摘要（中文）

大型语言模型（LLM）在临床文本分类方面取得了进展，但其预测的不透明性仍然是研究和临床环境中实际应用的关键障碍，因为研究人员和医生需要了解患者记录的哪些部分驱动了风险信号。为了解决这个问题，我们引入了CALM（Classification with Additive Large Language Models），这是一个用于半结构化文本的可解释框架，其中输入由语义上有意义的组件组成，例如入院记录的章节或摄入表格中的问答字段。CALM将结果预测为每个组件贡献的加和，使这些贡献成为前向计算本身的一部分，从而在患者和群体层面实现忠实的解释。这种加性结构还支持清晰的可视化，例如类似于广义加性模型中使用的组件级风险曲线，使学习到的关系更容易检查和交流。虽然CALM期望半结构化输入，但许多临床文档已经具有这种形式，并且通常可以从自由文本注释中自动提取类似的结构。CALM实现了与传统LLM分类器相当的性能，同时提高了信任度，支持质量保证检查，并在模型开发和审计期间揭示了临床上有意义的模式。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在处理半结构化临床文本时，预测结果缺乏可解释性的问题。现有的LLM分类器通常是黑盒模型，难以理解哪些输入特征对最终预测结果产生了影响，这在医疗领域是不可接受的，因为医生和研究人员需要理解模型做出决策的原因，以便进行质量保证和风险评估。

核心思路：CALM的核心思路是将半结构化文本分解为语义上有意义的组件，例如入院记录的章节或问答字段，然后将最终的预测结果表示为这些组件贡献的加权和。通过这种方式，每个组件对最终预测的贡献可以直接量化和解释，从而提高模型的可解释性。

技术框架：CALM框架主要包含以下几个步骤：1) 将半结构化文本输入分解为语义组件；2) 使用LLM对每个组件进行编码，提取特征表示；3) 将每个组件的特征表示输入到一个加性模型中，该模型将每个组件的贡献进行加权求和，得到最终的预测结果；4) 使用损失函数优化模型参数，使得模型的预测结果与真实标签尽可能接近。

关键创新：CALM最重要的创新点在于其加性模型结构，它将每个输入组件的贡献直接融入到前向计算过程中，从而实现了对模型预测结果的忠实解释。与传统的后验解释方法不同，CALM的解释是模型本身固有的，不需要额外的解释器或近似计算。

关键设计：CALM的关键设计包括：1) 如何将半结构化文本分解为语义组件，这取决于具体的应用场景和数据格式；2) 如何选择合适的LLM对每个组件进行编码，这需要考虑模型的性能和计算成本；3) 如何设计加性模型的结构，例如使用线性模型或非线性模型，以及如何对每个组件的贡献进行加权。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CALM在临床文本分类任务中取得了与传统LLM分类器相当的性能，同时显著提高了模型的可解释性。通过组件级别的风险曲线可视化，CALM能够清晰地展示每个组件对最终预测结果的贡献，从而帮助医生和研究人员理解模型做出决策的原因。

🎯 应用场景

CALM框架可应用于各种需要可解释性的半结构化文本分类任务，例如临床风险预测、欺诈检测、客户满意度分析等。该框架可以帮助领域专家理解模型做出决策的原因，从而提高模型的信任度，支持质量保证检查，并揭示有意义的模式。

📄 摘要（原文）

Large Language Models have advanced clinical text classification, but their opaque predictions remain a critical barrier to practical adoption in research and clinical settings where investigators and physicians need to understand which parts of a patient's record drive risk signals. To address this challenge, we introduce \textbf{CALM}, short for \textbf{Classification with Additive Large Language Models}, an interpretable framework for semi-structured text where inputs are composed of semantically meaningful components, such as sections of an admission note or question-answer fields from an intake form. CALM predicts outcomes as the additive sum of each component's contribution, making these contributions part of the forward computation itself and enabling faithful explanations at both the patient and population level. The additive structure also enables clear visualizations, such as component-level risk curves similar to those used in generalized additive models, making the learned relationships easier to inspect and communicate. Although CALM expects semi-structured inputs, many clinical documents already have this form, and similar structure can often be automatically extracted from free-text notes. CALM achieves performance comparable to conventional LLM classifiers while improving trust, supporting quality-assurance checks, and revealing clinically meaningful patterns during model development and auditing.