Detecting Spin in Clinical Trials with Large Language Models
作者: Tjaš Ajdovec, Marko Robnik-Šikonja, Simon Šuster
分类: cs.CL
发布日期: 2026-10-08
备注: 5 pages, 1 figure, 2 tables. Accepted at the 29th International Multiconference Information Society (IS 2026), AI in Healthcare track, Ljubljana, Slovenia. Code: https://github.com/ta5946/Spin
💡 一句话要点
利用大语言模型自动检测临床试验中的结果扭曲
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 临床试验 结果扭曲 大语言模型 自动检测 文本相似性 语义分析 机器学习
📋 核心要点
- 临床试验中结果扭曲的现象普遍存在，现有方法难以有效识别和分类这些扭曲情况。
- 本文提出了一种基于大语言模型的自动检测系统，利用语义相似性来识别结果切换。
- 在2496个测试样本上，F1分数达到0.78，准确率为0.90，显著优于传统文本相似性模型。
📝 摘要（中文）
临床试验中的结果扭曲（spin）指的是扭曲结果呈现的报告实践，尤其在医学领域，超过50%的随机对照试验未达到统计显著性。本文通过300对标记为语义相似的结果，开发了一种自动检测结果切换的系统。我们评估了基础文本相似性模型和开源大语言模型（LLMs），使用生成的相似性分数和Youden指数来确定分类阈值。提出的方法包括提示工程、基于标记概率的分类和最终决策的多数投票。测试集的结果显示，F1分数为0.78，准确率为0.90，优于基础文本相似性模型，但不及微调后的BERT版本。我们还利用LLMs生成分类实例的自然语言解释，并对其质量进行了人工评估。
🔬 方法详解
问题定义：本文旨在解决临床试验中结果扭曲（spin）现象的自动检测问题。现有方法在识别和分类结果切换方面存在不足，难以准确反映试验结果的真实情况。
核心思路：论文提出利用大语言模型（LLMs）和语义相似性来自动检测结果切换。通过构建300对结果的语义相似性标记，设计了一种新的检测系统，旨在提高检测的准确性和效率。
技术框架：整体架构包括数据准备、模型训练和评估三个主要阶段。首先，通过标记的结果对构建训练集；其次，使用开源LLMs进行模型训练；最后，通过生成的相似性分数和Youden指数进行模型评估和分类。
关键创新：最重要的技术创新在于结合了提示工程和基于标记概率的分类方法，通过多数投票机制提高最终决策的准确性。这与传统的文本相似性模型有本质区别，后者通常依赖于简单的相似度计算。
关键设计：在模型训练中，采用了多种文本相似性模型作为基线，并通过调整分类阈值和损失函数来优化性能。此外，使用了自然语言生成技术为分类实例提供解释，增强了模型的可解释性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在测试集上取得了F1分数0.78和准确率0.90，明显优于传统的文本相似性模型，尽管在性能上仍落后于微调后的BERT版本。这表明该方法在检测结果切换方面具有良好的潜力和应用价值。
🎯 应用场景
该研究的潜在应用领域包括医学研究、临床试验设计和结果报告等。通过自动检测结果扭曲，能够提高临床试验的透明度和可信度，帮助研究人员和医生更好地理解试验结果，从而做出更科学的决策。未来，该方法可能在其他领域的研究中得到推广，提升数据报告的质量。
📄 摘要（原文）
Spin in clinical trials includes reporting practices that distort the presentation of results. This is particularly critical in medicine, where spin is present in more than 50% of randomized controlled trials that fail to reach statistical significance. The comparison of primary and reported outcomes is crucial for detecting several types of spin, including outcome switching. We used 300 pairs of outcomes labeled with semantic similarity to develop a system for automatic detection of outcome switching. We evaluated baseline text similarity models and open-source LLMs using generated similarity scores and the Youden index to determine the classification threshold. The proposed approach involves prompt engineering, classification based on token probabilities, and majority voting for the final decision. The results on the test set of 2,496 examples with an F1 score of 0.78 and an accuracy of 0.90 outperform baseline text similarity models but trail behind fine-tuned versions of BERT. We used LLMs to generate natural language explanations for the classified instances and manually assessed their quality.