FreqDINO++: A Frequency-Guided Multi-Task Routing Vision Foundation Model for Universal Ultrasound Analysis

📄 arXiv: 2609.20340v1 📥 PDF

作者: Qing Xu, Yixuan Zhang, Yue Li, Xiangjian He, Qian Zhang, Mainul Haque, Rong Qu, Wenting Duan, Jieyun Bai, Zhen Chen

分类: cs.CV

发布日期: 2026-09-17

备注: Accepted by TBME

🔗 代码/项目: GITHUB

💡 一句话要点

提出FreqDINO++以解决超声图像分析中的多任务挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超声图像分析 多任务学习 视觉基础模型 频率特征 医学影像

📋 核心要点

  1. 现有方法在超声图像分析中面临领域差距大、计算开销高和任务共性利用不足等挑战。
  2. 本文提出FreqDINO++，通过多任务路由适配器和频率感知特征增强器实现任务知识的高效整合。
  3. 在大规模多任务和外部单任务超声基准测试中，FreqDINO++在27个临床任务场景中超越了强基线和近期基础模型。

📝 摘要（中文）

超声图像分析在癌症筛查和产前诊断中至关重要，但全面评估需要同时处理病变分割和良恶性分类等任务。尽管近期的视觉基础模型展现了显著的通用表示能力，但由于与自然图像之间存在显著的领域差距，导致其在超声图像分析中的应用受到限制。现有方法通常针对孤立任务微调重型视觉编码器，造成了巨大的计算开销，同时忽视了异构任务之间的潜在共性。为此，本文提出了FreqDINO++，一种频率引导的多任务路由视觉基础模型，旨在实现通用的超声分析。通过引入多任务路由适配器（MR-Adapter）、频率感知特征增强器（F²-Enhancer）和任务对齐协作解码器（TC-Decoder），该模型在27个临床任务场景中表现出色，且对未见数据具有良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决超声图像分析中的多任务挑战，现有方法在处理不同任务时存在计算开销大和任务间共性利用不足的问题。

核心思路：FreqDINO++通过引入多任务路由适配器（MR-Adapter）和频率感知特征增强器（F²-Enhancer），实现任务知识的高效整合和多尺度频率特征的捕捉，从而提升超声图像分析的效果。

技术框架：该模型的整体架构包括三个主要模块：多任务路由适配器（MR-Adapter）用于整合任务知识，频率感知特征增强器（F²-Enhancer）用于提取多尺度频率特征，以及任务对齐协作解码器（TC-Decoder）促进密集与全局预测任务之间的协作。

关键创新：最重要的技术创新在于引入了频率引导的多任务路由机制，使得模型能够有效利用不同任务间的共性，同时减少计算开销。

关键设计：在设计中，MR-Adapter支持参数高效的任务知识整合，F²-Enhancer专注于捕捉超声图像的多尺度频率特征，而TC-Decoder通过全局-局部令牌交互促进任务间的协作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，FreqDINO++在27个临床任务场景中表现优异，超越了多个强基线和近期基础模型，展现出在大规模多任务和外部单任务超声基准测试中的一致性提升，且对未见数据具有良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、癌症筛查和产前诊断等，能够为临床医生提供更为准确的超声图像解读，提升诊断效率和准确性。未来，FreqDINO++有望在其他医学图像分析任务中推广应用，推动智能医疗的发展。

📄 摘要（原文）

Ultrasound image analysis plays a crucial role in cancer screening and prenatal diagnosis, yet comprehensive assessment requires jointly addressing tasks such as lesion segmentation and benign-malignant classification. While recent vision foundation models have shown remarkable universal representations, unlocking their potential for ultrasound is bottlenecked by the considerable domain gap from natural images. Existing methods typically fine-tune heavy vision encoders for isolated tasks, incurring substantial computational overhead while overlooking the underlying commonalities across heterogeneous tasks. In this work, we propose FreqDINO++, a frequency-guided multi-task routing vision foundation model for universal ultrasound analysis. We first introduce a Multi-task Routing Adapter (MR-Adapter) to support parameter-efficient integration of task-common and task-specific knowledge, a Frequency-aware Feature Enhancer (F$^2$-Enhancer) is then designed to capture the rich multi-scale frequency characteristics of ultrasound images, and a Task-aligned Collaborative Decoder (TC-Decoder) is devised to promote collaboration between dense and global prediction tasks through global-local token interaction. Extensive experiments on large-scale multi-task and external single-task ultrasound benchmarks demonstrate that FreqDINO++ consistently outperforms strong baselines and recent foundation models across 27 diverse clinical task scenarios, while also showing promising generalization to unseen data. The code is at https://github.com/MingLang-FD/FreqDINO-Plus.