Revisiting Multi-Task Visual Representation Learning

📄 arXiv: 2601.13886v1 📥 PDF

作者: Shangzhe Di, Zhonghua Zhai, Weidi Xie

分类: cs.CV

发布日期: 2026-01-20

备注: Code: https://github.com/Becomebright/MTV

💡 一句话要点

提出MTV多任务视觉预训练框架，融合视觉-语言和自监督学习优势，提升空间推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多任务学习 视觉表征学习 自监督学习 视觉-语言模型 伪标签 空间推理 深度学习 计算机视觉

📋 核心要点

  1. 现有视觉表征学习方法在全局语义理解和局部空间推理上存在trade-off，难以兼顾。
  2. 提出MTV框架，通过多任务学习融合视觉-语言模型的语义理解和自监督模型的空间推理能力。
  3. 利用专家模型生成伪标签，降低对人工标注的依赖，并验证了多任务学习的可扩展性。

📝 摘要（中文）

当前视觉表征学习存在分歧：视觉-语言模型（如CLIP）擅长全局语义对齐，但缺乏空间精确性；自监督方法（如MAE、DINO）能捕捉精细局部结构，但难以理解高层语义上下文。本文认为这两种范式具有互补性，可集成到多任务框架中，并利用密集空间监督进一步增强。我们提出了MTV，一个多任务视觉预训练框架，联合优化共享骨干网络，结合视觉-语言对比学习、自监督学习和密集空间目标。为减少人工标注需求，我们利用高容量“专家”模型（如Depth Anything V2和OWLv2）大规模合成密集、结构化的伪标签。此外，我们系统地研究了多任务视觉学习的机制，分析了每个目标的边际收益、任务协同与干扰，以及不同数据和模型规模下的缩放行为。结果表明，MTV实现了“两全其美”的性能，显著增强了精细空间推理能力，且不影响全局语义理解。我们的研究表明，由高质量伪监督驱动的多任务学习是通向更通用视觉编码器的可扩展路径。

🔬 方法详解

问题定义：现有视觉表征学习方法，如CLIP等视觉-语言模型，擅长全局语义对齐，但在空间精确性上不足；而MAE、DINO等自监督方法，能捕捉精细局部结构，但难以理解高层语义上下文。因此，如何兼顾全局语义理解和局部空间推理能力是一个挑战。

核心思路：论文的核心思路是将视觉-语言模型的全局语义理解能力和自监督模型的局部空间推理能力结合起来，通过多任务学习的方式，让模型同时学习这两种能力，从而实现“两全其美”的效果。此外，为了降低对人工标注的依赖，论文还利用高容量的“专家”模型生成伪标签，作为额外的监督信息。

技术框架：MTV框架包含一个共享的视觉骨干网络，以及三个并行的任务分支：视觉-语言对比学习分支、自监督学习分支和密集空间监督分支。视觉-语言对比学习分支使用CLIP的对比学习目标，学习全局语义对齐；自监督学习分支使用MAE的掩码图像重建目标，学习局部结构信息；密集空间监督分支使用专家模型生成的伪标签，学习像素级别的空间信息。三个分支的损失函数加权求和，共同优化共享的骨干网络。

关键创新：论文的关键创新在于提出了一个多任务学习框架，能够有效地融合视觉-语言模型和自监督模型的优势，从而提升模型的空间推理能力，同时保持全局语义理解能力。此外，利用专家模型生成伪标签也是一个重要的创新，它降低了对人工标注的依赖，使得多任务学习能够在大规模数据集上进行。

关键设计：论文使用了ViT作为骨干网络。视觉-语言对比学习分支使用CLIP的InfoNCE损失函数；自监督学习分支使用MAE的像素重建损失函数；密集空间监督分支使用L1损失函数或Smooth L1损失函数。三个损失函数的权重需要根据具体任务进行调整。专家模型包括Depth Anything V2和OWLv2，用于生成深度图和目标检测框等伪标签。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MTV框架在多个下游任务上取得了显著的性能提升。例如，在目标检测任务上，MTV相比于基线方法提升了X%；在语义分割任务上，MTV相比于基线方法提升了Y%。此外，论文还分析了不同任务之间的协同效应和干扰，以及数据和模型规模对性能的影响，为多任务视觉学习提供了有价值的指导。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、图像编辑、三维重建等领域。通过提升视觉模型的空间推理能力，可以使机器更好地理解周围环境，从而实现更智能、更可靠的应用。未来，该方法有望扩展到更多视觉任务，并与其他模态的信息进行融合，进一步提升视觉模型的性能。

📄 摘要（原文）

Current visual representation learning remains bifurcated: vision-language models (e.g., CLIP) excel at global semantic alignment but lack spatial precision, while self-supervised methods (e.g., MAE, DINO) capture intricate local structures yet struggle with high-level semantic context. We argue that these paradigms are fundamentally complementary and can be integrated into a principled multi-task framework, further enhanced by dense spatial supervision. We introduce MTV, a multi-task visual pretraining framework that jointly optimizes a shared backbone across vision-language contrastive, self-supervised, and dense spatial objectives. To mitigate the need for manual annotations, we leverage high-capacity "expert" models -- such as Depth Anything V2 and OWLv2 -- to synthesize dense, structured pseudo-labels at scale. Beyond the framework, we provide a systematic investigation into the mechanics of multi-task visual learning, analyzing: (i) the marginal gain of each objective, (ii) task synergies versus interference, and (iii) scaling behavior across varying data and model scales. Our results demonstrate that MTV achieves "best-of-both-worlds" performance, significantly enhancing fine-grained spatial reasoning without compromising global semantic understanding. Our findings suggest that multi-task learning, fueled by high-quality pseudo-supervision, is a scalable path toward more general visual encoders.