3D Geometric Tooth Alignment Planning via Deep Reinforcement Learning

📄 arXiv: 2607.14544v1 📥 PDF

作者: Yong Li, Jianwen Lou, Jiayue Ma, Yao-Xiang Ding, Youyi Zheng, Haihua Zhu

分类: cs.CV

发布日期: 2026-07-16

💡 一句话要点

提出深度强化学习框架以自动化3D牙齿对齐规划

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 牙齿对齐 数字正畸 马尔可夫决策过程 几何轨迹优化 Transformer模型 动态掩蔽 课程学习策略

📋 核心要点

  1. 现有的牙齿对齐规划方法在处理复杂空间交互和高维状态-动作空间时存在局限，难以实现高效的自动化。
  2. 本文提出了一种基于深度强化学习的框架，通过MDP建模规划过程，优化几何轨迹并整合空间约束。
  3. 在10K专家设计的治疗计划数据集上评估后，结果显示该方法在路径安全性和几何效率上显著优于现有方法。

📝 摘要（中文）

3D几何牙齿对齐规划是现代数字正畸的重要组成部分，旨在从初始错位到最终目标对齐生成顺序轨迹。本文提出了一种新颖的深度强化学习（DRL）框架，自动生成这些对齐路径。我们将规划过程建模为马尔可夫决策过程（MDP），重点优化几何轨迹并整合重要的空间约束，如避免牙齿间碰撞和路径效率。所提方法利用深度确定性策略梯度（DDPG）算法，并通过三项关键创新进行增强：基于Transformer的代理模型、动态掩蔽方案和两阶段课程学习策略。实验结果表明，该方法在路径安全性和几何效率方面优于现有基线，为3D几何正畸对齐规划提供了稳健的自动化解决方案。

🔬 方法详解

问题定义：本文旨在解决3D几何牙齿对齐规划中的自动化问题，现有方法在处理复杂的空间交互和高维状态-动作空间时存在不足，难以实现高效的对齐路径生成。

核心思路：我们将规划过程建模为马尔可夫决策过程（MDP），通过深度强化学习优化几何轨迹，同时考虑牙齿间的碰撞避免和路径效率，确保生成的路径符合临床逻辑。

技术框架：整体框架包括三个主要模块：基于Transformer的代理模型用于处理复杂的空间交互，动态掩蔽方案用于限制每步移动的牙齿子集，以及两阶段课程学习策略用于逐步增加任务难度，确保训练的稳定性和路径发现的高效性。

关键创新：本研究的关键创新在于引入了Transformer模型来处理高维状态-动作空间，并通过动态掩蔽和课程学习策略增强了训练过程的有效性。这些创新使得模型能够更好地反映临床对齐的逻辑。

关键设计：在技术细节上，使用了深度确定性策略梯度（DDPG）算法，动态掩蔽方案通过限制每步的活动牙齿数量来提高效率，课程学习策略则通过逐步增加任务难度来提升模型的学习能力。具体的损失函数和网络结构设计未在摘要中详细说明，需参考原文获取更多信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在路径安全性和几何效率方面显著优于现有基线，具体提升幅度未在摘要中给出，需参考原文获取详细数据。这一成果为3D几何正畸对齐规划提供了稳健的自动化解决方案。

🎯 应用场景

该研究的潜在应用领域包括数字正畸、牙科治疗规划和智能医疗系统。通过自动化牙齿对齐规划，可以提高治疗效率，减少医生的工作负担，并为患者提供更精确的治疗方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

3D geometric tooth alignment planning, which determines sequential trajectories from initial malocclusion to the final target alignment, is a cornerstone of modern digital orthodontics. This paper presents a novel deep reinforcement learning (DRL) framework to automate the generation of these alignment paths. We formulate the planning process as a Markov Decision Process (MDP) to capture its sequential decision-making nature, focusing on optimizing geometric trajectories while integrating essential spatial constraints, such as inter-dental collision avoidance and path efficiency. The proposed method leverages the Deep Deterministic Policy Gradient (DDPG) algorithm, enhanced by three key innovations: (1) a Transformer-based agent to model complex spatial interactions between teeth and manage high-dimensional state-action spaces; (2) a dynamic masking scheme that restricts movement to a sparse subset of teeth per step, better reflecting the clinical logic of sequential alignment; and (3) a two-stage curriculum learning strategy that gradually increases task difficulty to ensure training stability and efficient path discovery. We evaluate our approach on a dataset of 10K expert-designed treatment plans based on clinical data. Experimental results demonstrate that our method outperforms existing baselines in terms of path safety and geometric efficiency, providing a robust and automated solution for 3D geometric orthodontic alignment planning.