Incidental information contaminates patient notes and disrupts clinical reasoning in large language models

📄 arXiv: 2610.08585v1 📥 PDF

作者: Krithik Vishwanath, Brandon Ye, Anton Alyakin, John E. Markert, Aaron Hsieh, Michał Mańkowski, Eric K. Oermann

分类: cs.CL

发布日期: 2026-10-06

💡 一句话要点

提出双重编码假设以解决临床推理中的信息污染问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床推理 信息污染 双重编码假设 医疗记录 智能助手 数据收集 模型训练

📋 核心要点

  1. 现有大型语言模型在处理临床记录时，容易受到患者接触中附带信息的干扰，影响临床推理的准确性。
  2. 论文提出了一种双重编码假设，旨在解释LLMs如何同时处理临床推理和附带信息的干扰。
  3. 实验结果显示，35%的记录中插入了闲聊内容，且5.3%的下游记录存在信息污染，提示需要改进模型的鲁棒性。

📝 摘要（中文）

大型语言模型（LLMs）在支持环境文档和临床推理方面的应用日益增加。本文研究了这些应用共享的失效模式，评估了它们对患者接触中附带信息的敏感性。在576个患者-临床对话中，发现前沿模型在35%的记录中插入了闲聊内容，而质量评分的变化最多为0.20分。在3.7%的前沿记录中，模型错误地归因于这些附带信息或将其用于临床。在57个模拟记录的咨询中，来自另一个患者接触的背景语音以-10 dB的音量泄漏到48.2%的转录中，4个开放权重模型生成的下游记录中检测到5.3%的污染。我们提出了临床推理和干扰的双重编码假设，初步证据表明与附带信息干扰相关的LLM组件也支持临床推理。这些发现支持在临床使用前评估对附带信息的抵抗力，并提出防止污染的保障措施，同时保持临床推理能力。

🔬 方法详解

问题定义：本文要解决的问题是大型语言模型在临床记录中受到附带信息干扰的现象，现有方法未能有效处理这种信息污染，导致临床推理的准确性下降。

核心思路：论文提出的核心思路是双重编码假设，认为LLMs在处理临床信息时，既需要进行推理，又要抵御附带信息的干扰。这样的设计旨在提高模型在实际应用中的鲁棒性。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。数据收集阶段通过576个患者-临床对话获取真实场景数据，模型训练阶段使用这些数据训练前沿模型，评估阶段则通过模拟咨询记录分析模型的表现。

关键创新：最重要的技术创新点在于提出了双重编码假设，强调了模型在处理临床信息时的复杂性，并提供了初步证据支持这一假设。这与现有方法的本质区别在于关注信息干扰的影响。

关键设计：在模型设计中，采用了开放权重模型，设置了特定的损失函数以减少附带信息的影响，并通过多轮对话数据增强模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，前沿模型在35%的记录中插入了闲聊内容，且在57个模拟咨询中，48.2%的转录受到背景语音的污染，5.3%的下游记录存在信息污染。这表明现有模型在处理临床信息时的鲁棒性不足，亟需改进。

🎯 应用场景

该研究的潜在应用领域包括医疗记录自动化、临床决策支持系统和智能助手等。通过提高大型语言模型对附带信息的抵抗力，可以显著提升临床推理的准确性，从而改善患者护理质量和医疗效率。

📄 摘要（原文）

Large language models (LLMs) are increasingly relied upon to support ambient documentation and clinical reasoning. Here we examine the impact of a failure mode shared between these two applications by assessing their sensitivity to information incidental to the patient encounter. In 576 patient-clinician dialogues, we found that frontier models inserted small-talk exchanges into 35% of notes, while mean quality scores changed by at most 0.20 points on five-point scales. In 3.7% of frontier notes, models misattributed the asides or used them clinically. In 57 mock recorded consultations, background speech from a separate patient encounter at -10 dB leaked into 48.2% of transcripts, with contamination detected in 5.3% of downstream notes generated by four open-weight models. We propose a dual encoding hypothesis of clinical reasoning and distraction in LLMs, with preliminary evidence that LLM components associated with disruption by incidental information also support clinical reasoning. These findings support evaluating resistance to incidental information before clinical use, with safeguards that prevent contamination while preserving clinical reasoning.