Autonomous Radiotherapy Treatment Planning Using DOLA: A Privacy-Preserving, LLM-Based Optimization Agent

📄 arXiv: 2503.17553v1 📥 PDF

作者: Humza Nusrat, Bing Luo, Ryan Hall, Joshua Kim, Hassan Bagher-Ebadian, Anthony Doemer, Benjamin Movsas, Kundan Thind

分类: physics.med-ph, cs.AI, cs.CL, cs.ET, cs.HC

发布日期: 2025-03-21

备注: 19 pages, 5 figures, preprint

💡 一句话要点

DOLA：一种保护隐私的、基于LLM的自主放疗治疗计划优化Agent

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射治疗计划 大型语言模型 自主优化 隐私保护 检索增强生成 强化学习 LLaMa3 人机交互

📋 核心要点

  1. 放射治疗计划制定耗时且主观，不同计划者之间存在差异，影响治疗效果。
  2. DOLA利用本地LLM，结合思维链、RAG和强化学习，在保护隐私的前提下自主优化治疗计划。
  3. 实验表明，70B模型优于8B模型，RAG优于No-RAG，RL加速收敛，验证了DOLA的有效性。

📝 摘要（中文）

放射治疗计划制定是一个复杂且耗时的过程，容易受到计划者间差异和主观决策的影响。为了解决这些挑战，我们引入了剂量优化语言代理（DOLA），这是一个基于大型语言模型（LLM）的自主代理，旨在优化放射治疗计划，同时严格保护患者隐私。DOLA将LLaMa3.1 LLM直接集成到商业治疗计划系统中，利用思维链提示、检索增强生成（RAG）和强化学习（RL）。该代理完全在安全的本地基础设施中运行，无需外部数据共享。我们使用一个回顾性队列的18名接受60 Gy/20次处方的列腺癌患者评估了DOLA，比较了模型大小（80亿与700亿参数）和优化策略（No-RAG、RAG和RAG+RL）在10次计划迭代中的表现。70B模型表现出显著提高的性能，最终得分比8B模型高约16.4%。RAG方法比No-RAG基线高出19.8%，而结合RL加速了收敛，突出了基于检索的记忆和强化学习的协同作用。最佳温度超参数分析确定0.4在探索和利用之间提供了最佳平衡。这项概念验证研究代表了在商业放射治疗计划系统中首次成功部署本地托管的LLM代理，用于自主优化治疗计划。通过可解释的自然语言推理扩展人机交互，DOLA提供了一个可扩展且注重隐私的框架，具有临床实施和工作流程改进的巨大潜力。

🔬 方法详解

问题定义：放射治疗计划制定是一个复杂且耗时的过程，需要专家手动调整各种参数以达到最佳的剂量分布，同时保护关键器官。现有方法存在计划者间差异大、主观性强、耗时等问题，难以保证治疗质量和效率。

核心思路：利用大型语言模型（LLM）的强大推理和学习能力，构建一个自主代理（DOLA），使其能够理解治疗目标、评估计划质量并自动优化治疗参数。通过本地部署LLM，确保患者数据的隐私安全。

技术框架：DOLA系统主要包含以下几个模块：1) LLaMa3.1 LLM：作为核心推理引擎，负责理解治疗目标、生成优化策略；2) 商业治疗计划系统：提供剂量计算和计划评估功能；3) 检索增强生成（RAG）：从历史治疗计划中检索相关信息，为LLM提供参考；4) 强化学习（RL）：通过与治疗计划系统的交互，学习优化策略。整个系统在本地安全环境中运行，无需外部数据共享。

关键创新：1) 将LLM应用于放射治疗计划的自主优化，实现人机交互的自然语言推理；2) 采用本地部署的LLM，确保患者数据的隐私安全；3) 结合RAG和RL，提高LLM的优化效率和性能。

关键设计：1) 使用思维链提示（Chain-of-Thought prompting）引导LLM进行推理；2) 通过温度超参数调整LLM的探索和利用平衡，实验确定0.4为最佳值；3) 采用回顾性队列数据进行模型训练和评估，使用剂量体积直方图（DVH）等指标评估计划质量。

📊 实验亮点

实验结果表明，DOLA能够显著提高放射治疗计划的质量。70B模型比8B模型最终得分高约16.4%，RAG方法比No-RAG基线高出19.8%，结合RL加速了收敛。最佳温度超参数为0.4，在探索和利用之间提供了最佳平衡。这些结果验证了DOLA的有效性和优越性。

🎯 应用场景

DOLA具有广泛的应用前景，可用于辅助放射治疗计划制定，提高计划质量和效率，减少计划者间差异。该系统可应用于各种癌症的放射治疗，并可扩展到其他医疗领域，例如药物发现和个性化治疗。DOLA的本地部署模式也为其他需要保护隐私的应用场景提供了参考。

📄 摘要（原文）

Radiotherapy treatment planning is a complex and time-intensive process, often impacted by inter-planner variability and subjective decision-making. To address these challenges, we introduce Dose Optimization Language Agent (DOLA), an autonomous large language model (LLM)-based agent designed for optimizing radiotherapy treatment plans while rigorously protecting patient privacy. DOLA integrates the LLaMa3.1 LLM directly with a commercial treatment planning system, utilizing chain-of-thought prompting, retrieval-augmented generation (RAG), and reinforcement learning (RL). Operating entirely within secure local infrastructure, this agent eliminates external data sharing. We evaluated DOLA using a retrospective cohort of 18 prostate cancer patients prescribed 60 Gy in 20 fractions, comparing model sizes (8 billion vs. 70 billion parameters) and optimization strategies (No-RAG, RAG, and RAG+RL) over 10 planning iterations. The 70B model demonstrated significantly improved performance, achieving approximately 16.4% higher final scores than the 8B model. The RAG approach outperformed the No-RAG baseline by 19.8%, and incorporating RL accelerated convergence, highlighting the synergy of retrieval-based memory and reinforcement learning. Optimal temperature hyperparameter analysis identified 0.4 as providing the best balance between exploration and exploitation. This proof of concept study represents the first successful deployment of locally hosted LLM agents for autonomous optimization of treatment plans within a commercial radiotherapy planning system. By extending human-machine interaction through interpretable natural language reasoning, DOLA offers a scalable and privacy-conscious framework, with significant potential for clinical implementation and workflow improvement.