Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering

📄 arXiv: 2602.23676v1 📥 PDF

作者: Ao Li, Rui Liu, Mingjie Li, Sheng Liu, Lei Wang, Xiaodan Liang, Lina Yao, Xiaojun Chang, Lei Xing

分类: cs.CV

发布日期: 2026-02-27

备注: 15 pages, 5 figures

💡 一句话要点

提出SDLS方法，通过语义解耦潜在空间引导，抑制放射报告生成中的历史对比幻觉。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射报告生成 视觉-语言模型 幻觉抑制 语义解耦 潜在空间引导

📋 核心要点

  1. 现有基于视觉-语言模型的放射报告生成方法易产生历史对比幻觉，即生成与当前影像不符的历史信息。
  2. 论文提出SDLS方法，通过LLM驱动的语义分解和QR正交化，构建语义解耦的干预向量，引导模型关注当前影像。
  3. 实验表明，SDLS方法有效降低了历史幻觉，提高了临床标签的保真度，并在多个数据集上具有鲁棒性。

📝 摘要（中文）

基于视觉-语言模型(VLMs)的自动放射报告生成面临着历史对比幻觉的风险，即模型生成当前研究不支持的历史发现。本文提出了一种无需训练的推理期控制框架，称为语义解耦潜在空间引导(SDLS)。与通常存在语义纠缠的通用激活引导不同，我们的方法通过大型语言模型(LLM)驱动的语义分解，然后进行基于QR分解的正交化，构建一个无语义的干预向量。正交化步骤至关重要，它利用几何约束来过滤掉标准主成分分析(PCA)方向中经常纠缠的临床语义，确保引导向量仅针对“历史比较”轴。我们在BiomedGPT基础模型上验证了该方法，证明其克服了幻觉抑制和临床准确性之间的权衡。在MIMIC-CXR上的大量实验以及在CheXpert Plus和IU-Xray上的零样本迁移评估证明了该方法的鲁棒性。在MIMIC-CXR上的定量评估表明，我们的方法显著降低了历史幻觉的概率(FilBERT分数从0.2373降至0.1889)，并提高了临床标签的保真度(CheXpert宏F1从0.2242增至0.3208)。补充评估证实了临床叙述的结构完整性得到了保持。

🔬 方法详解

问题定义：放射报告生成任务中，模型容易受到历史信息的影响，产生与当前影像不符的“历史对比幻觉”。现有方法难以有效区分历史信息和当前影像信息，导致报告质量下降。

核心思路：核心在于解耦语义信息，构建一个只包含“历史对比”信息的干预向量。通过LLM进行语义分解，然后利用QR分解进行正交化，从而消除干预向量中可能存在的临床语义信息，使其只关注历史对比。这样，在推理时，可以通过该向量引导模型，抑制历史信息的干扰。

技术框架：SDLS框架主要包含以下几个阶段：1) 使用大型语言模型(LLM)进行语义分解，将潜在空间分解为多个语义轴；2) 使用QR分解对语义轴进行正交化，消除临床语义信息；3) 构建干预向量，该向量只包含“历史对比”信息；4) 在推理时，使用该干预向量引导模型，抑制历史信息的干扰，生成更准确的报告。

关键创新：关键创新在于语义解耦和正交化。传统的激活引导方法容易受到语义纠缠的影响，无法有效区分不同的语义信息。SDLS方法通过LLM进行语义分解，然后利用QR分解进行正交化，从而实现了语义解耦，构建了一个只包含“历史对比”信息的干预向量。

关键设计：1) 使用LLM进行语义分解的具体prompt设计；2) QR分解的具体实现方式，如何选择合适的正交化方向；3) 干预向量的尺度选择，如何平衡幻觉抑制和临床准确性；4) 如何将干预向量应用到BiomedGPT模型的潜在空间中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MIMIC-CXR数据集上，SDLS方法显著降低了历史幻觉的概率(FilBERT分数从0.2373降至0.1889)，并提高了临床标签的保真度(CheXpert宏F1从0.2242增至0.3208)。同时，在CheXpert Plus和IU-Xray数据集上的零样本迁移评估也证明了该方法的鲁棒性。

🎯 应用场景

该研究成果可应用于医疗影像辅助诊断领域，提高放射报告的准确性和可靠性，辅助医生进行诊断，减少误诊漏诊的风险。此外，该方法也可推广到其他需要抑制先验知识干扰的文本生成任务中，例如新闻摘要生成、机器翻译等。

📄 摘要（原文）

Automated radiology report generation using vision-language models (VLMs) is limited by the risk of prior-comparison hallucination, where the model generates historical findings unsupported by the current study. We address this challenge with a training-free, inference-time control framework termed Semantically Decoupled Latent Steering (SDLS). Unlike generic activation steering, which often suffers from semantic entanglement, our approach constructs a semantic-free intervention vector via large language model (LLM)-driven semantic decomposition followed by $QR$-based orthogonalization. This orthogonalization step is critical. It leverages geometric constraints to filter out the clinical semantics often entangled in standard principal component analysis (PCA) directions, ensuring that the steering vector targets only the ``historical comparison" axis. We validate our method on the BiomedGPT foundation model, demonstrating that it overcomes the trade-off between hallucination suppression and clinical accuracy. Extensive experiments on MIMIC-CXR, and zero-shot transfer evaluation on CheXpert Plus and IU-Xray, demonstrate the robustness of our approach. Quantitative evaluations on MIMIC-CXR show that our approach significantly reduces the probability of historical hallucinations (FilBERT score decreases from 0.2373 to 0.1889) and improves clinical label fidelity (CheXpert macro-F1 increases from 0.2242 to 0.3208). Supplementary evaluations confirm that the structural integrity of the clinical narrative is maintained.