Hindsight-Guided Rationale Distillation for Rare Disease Diagnosis
作者: Aarav Singh, Animesh Pathak, Navyansh Singh
分类: cs.CL
发布日期: 2026-10-02
备注: 15 pages, 4 figures, Github: https://github.com/joetheguide2/hindsight, Accepted at AACL-IJCNLP SRW 2026
💡 一句话要点
提出基于后见指导的蒸馏方法以改善罕见疾病诊断
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 罕见疾病诊断 后见指导 蒸馏训练 模型过滤 知识转移
📋 核心要点
- 现有方法在罕见疾病诊断中面临准确率低的问题，尤其是在大规模模型训练时。
- 论文提出了一种后见指导的蒸馏方法，通过过滤技术减少模型推理中的污染，提高诊断准确性。
- 实验结果显示，经过过滤的学生模型在某些疾病上的准确率显著优于教师模型，尽管整体提升幅度有限。
📝 摘要（中文）
本研究探讨了在ZebraMap数据集上进行罕见疾病诊断的后见指导蒸馏方法。我们将1.5B参数的学生模型在观察真实诊断的8B教师模型的推理链上进行微调。尽管所有模型的绝对准确率仍然较低，但经过过滤的学生模型（StudentF）在表现较好的疾病上相较于教师模型取得了小幅且统计显著的准确率提升（p < 0.001）。未经过滤的学生模型未显著超越教师模型（p = 0.129），表明污染过滤而非单纯的后见蒸馏推动了这一提升。我们还量化了增益与成本的权衡，记录了缺乏RL训练教师的频率依赖知识转移，并描述了SFT未能弥补的校准差距，指出了未来研究的方向。
🔬 方法详解
问题定义：本研究旨在解决罕见疾病诊断中模型准确率低的问题，尤其是在大规模模型（如8B参数教师模型）训练时，现有方法难以有效捕捉真实诊断信息。
核心思路：论文的核心思路是通过后见指导蒸馏技术，结合污染过滤，来提升学生模型的推理能力和准确性。通过观察教师模型的推理链，学生模型能够更好地学习如何进行准确的诊断。
技术框架：整体架构包括教师模型和学生模型的训练过程。教师模型在生成过程中观察真实的诊断信息，而学生模型则在此基础上进行微调。关键步骤包括污染过滤和后见指导蒸馏。
关键创新：最重要的技术创新在于引入污染过滤机制，解决了教师模型推理中存在的“GT幻觉”问题，从而显著提升了学生模型的性能。这一方法与传统的蒸馏方法存在本质区别，强调了数据质量的重要性。
关键设计：在模型训练中，采用了正则表达式过滤器来去除不必要的标签嵌入，确保学生模型的推理更为准确。此外，损失函数的设计也考虑了频率依赖的知识转移，以优化模型的学习效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过过滤的学生模型（StudentF）在某些疾病上的准确率相较于教师模型显著提升，统计显著性达到p < 0.001，而未经过滤的学生模型未能显著超越教师模型（p = 0.129）。这一结果强调了污染过滤在模型性能提升中的关键作用。
🎯 应用场景
该研究的潜在应用领域包括医疗诊断系统，尤其是在罕见疾病的自动化诊断中。通过提高模型的准确性，能够帮助医生更快地做出决策，改善患者的治疗效果。未来，该方法也可扩展到其他复杂的诊断任务中，具有广泛的实际价值。
📄 摘要（原文）
We study hindsight-guided distillation for rare disease diagnosis on ZebraMap: a 1.5B student is fine-tuned on chain-of-thought traces from a 8B teacher that observes the ground-truth diagnosis during generation. Absolute accuracy remains low for all models - the task is hard at this scale - but within this ceiling a filtered variant (StudentF) achieves a small, statistically significant accuracy advantage over the teacher (p < 0.001), concentrated in better-represented diseases. The unfiltered student does not significantly outperform the teacher (p = 0.129), establishing that contamination filtering - not hindsight distillation alone - drives the gain. The gap traces to an artifact we term GT hallucination. Label-visible generation causes the teacher to embed "ground truth is X" phrases in its reasoning chain; SFT copies the pattern. At inference, the unfiltered student reproduces the phrase in 33.9% of cases, with severe accuracy degradation when the hallucinated label is wrong. A regex filter removing these slots reduces contamination to near-zero, producing the observed gain - though the effect remains small. We precisely quantify this gain-cost tradeoff, document frequency-dependent knowledge transfer absent from the RL-trained teacher, and characterize a calibration gap that SFT does not close - identifying both as directions for future work.