Horizon Scans can be accelerated using novel information retrieval and artificial intelligence tools
作者: Lena Schmidt, Oshin Sharma, Chris Marshall, Sonia Garcia Gonzalez Moral
分类: cs.IR, cs.AI, cs.CL
发布日期: 2025-04-02
💡 一句话要点
提出SCANAR和AIDOC工具，加速医疗领域前沿扫描，提升信息检索与分析效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 前沿扫描 信息检索 人工智能 自然语言处理 语义相似性 医疗保健 自动化 主动学习
📋 核心要点
- 当前医疗保健领域的前沿扫描面临信息检索和分析效率的挑战，尤其是在处理非结构化数据时，需要创新的工具。
- 论文提出SCANAR和AIDOC两种开源工具，SCANAR自动化新闻检索和处理，AIDOC利用AI进行相关性排序，辅助人工过滤。
- 实验表明，SCANAR提高了检索效率，AIDOC在95%召回率下减少了约62%的人工审核工作量，具有显著的省力潜力。
📝 摘要（中文）
本研究介绍了SCANAR和AIDOC，这两种基于Python的开源工具旨在改进医疗保健领域的前沿扫描。前沿扫描对于及时采纳创新至关重要，但当前面临信息检索和分析效率的挑战，尤其是在处理新闻等非结构化数据时。SCANAR通过自动化新闻文章的检索和处理，提供去重和无监督相关性排序等功能，从而提高检索效率。AIDOC则利用人工智能对文本数据进行相关性重排序，通过神经网络进行语义相似性分析，优先处理可能相关的条目，辅助人工过滤。实验结果表明，SCANAR提高了检索效率，AIDOC在95%召回率下，减少了约62%的人工审核工作量。与现有系统综述自动化工具的比较分析表明，AIDOC的性能相似，但因数据集特征而异。小型案例研究表明，集成大型语言模型到主动学习流程中，能够更快地检测新闻数据集中的相关文章。SCANAR和AIDOC有潜力通过简化数据检索和优先级排序来提高前沿扫描效率。建议进一步研究优化这些模型，并设计集成大型语言模型的新工作流程和验证过程。
🔬 方法详解
问题定义：论文旨在解决医疗保健领域前沿扫描中信息检索和分析效率低下的问题，特别是从新闻等非结构化来源中提取有用信息。现有方法依赖大量人工劳动，耗时且容易出错。
核心思路：论文的核心思路是利用自动化和人工智能技术，分别提高信息检索的效率和信息相关性的排序准确性。SCANAR负责自动化检索和预处理，AIDOC负责利用语义相似性进行排序，从而减少人工筛选的工作量。
技术框架：整体框架包含两个主要模块：SCANAR和AIDOC。SCANAR负责从新闻源自动检索文章，进行去重等预处理，并进行无监督相关性排序。AIDOC则利用神经网络计算文本的语义相似性，根据相关性对文本数据进行重排序，并将排序后的结果呈现给人工审核员。
关键创新：关键创新在于将信息检索和人工智能技术相结合，构建了一个完整的自动化前沿扫描流程。AIDOC利用神经网络进行语义相似性分析，能够更准确地识别与目标主题相关的文章，从而显著减少人工审核的工作量。此外，论文还探索了将大型语言模型集成到主动学习流程中，以进一步提高相关文章的检测速度。
关键设计：SCANAR的关键设计包括自动化的新闻文章检索流程和去重算法。AIDOC的关键设计包括用于计算语义相似性的神经网络结构（具体结构未知），以及基于相似性得分对文章进行排序的算法。论文还提到在主动学习流程中集成大型语言模型，但具体集成方式和参数设置未知。
📊 实验亮点
实验结果表明，AIDOC在95%召回率下，能够减少约62%的人工审核工作量，显著提高了前沿扫描的效率。与现有系统综述自动化工具的比较分析表明，AIDOC的性能与现有工具相当，但在某些数据集上表现更优。小型案例研究表明，集成大型语言模型可以进一步加速相关文章的检测。
🎯 应用场景
该研究成果可应用于医疗保健领域的药物研发、疾病预防、医疗技术创新等前沿趋势的监测。通过自动化和智能化的信息检索与分析，可以帮助决策者及时了解最新的研究进展和技术动态，从而做出更明智的决策，加速创新成果的转化和应用。该方法也可推广到其他需要进行大规模信息监测和分析的领域，如金融、能源等。
📄 摘要（原文）
Introduction: Horizon scanning in healthcare assesses early signals of innovation, crucial for timely adoption. Current horizon scanning faces challenges in efficient information retrieval and analysis, especially from unstructured sources like news, presenting a need for innovative tools. Methodology: The study introduces SCANAR and AIDOC, open-source Python-based tools designed to improve horizon scanning. SCANAR automates the retrieval and processing of news articles, offering functionalities such as de-duplication and unsupervised relevancy ranking. AIDOC aids filtration by leveraging AI to reorder textual data based on relevancy, employing neural networks for semantic similarity, and subsequently prioritizing likely relevant entries for human review. Results: Twelve internal datasets from horizon scans and four external benchmarking datasets were used. SCANAR improved retrieval efficiency by automating processes previously dependent on manual labour. AIDOC displayed work-saving potential, achieving around 62% reduction in manual review efforts at 95% recall. Comparative analysis with benchmarking data showed AIDOC's performance was similar to existing systematic review automation tools, though performance varied depending on dataset characteristics. A smaller case-study on our news datasets shows the potential of ensembling large language models within the active-learning process for faster detection of relevant articles across news datasets. Conclusion: The validation indicates that SCANAR and AIDOC show potential to enhance horizon scanning efficiency by streamlining data retrieval and prioritisation. These tools may alleviate methodological limitations and allow broader, swifter horizon scans. Further studies are suggested to optimize these models and to design new workflows and validation processes that integrate large language models.