Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection

📄 arXiv: 2607.07192v1 📥 PDF

作者: Zihao Zhang, Aming Wu, Yang Li, Yahong Han

分类: cs.CV

发布日期: 2026-07-08

💡 一句话要点

提出原型锚定广义流形回归以解决未知领域物体检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物体检测 流形回归 未知域泛化 视觉-文本融合 深度学习

📋 核心要点

  1. 现有方法主要依赖于模拟驱动策略，难以覆盖真实场景的动态变化，导致过拟合和鲁棒性不足。
  2. 提出流形回归与视觉-文本双链思维结合的方法，将未知域泛化视为流形回归问题，修正偏离样本。
  3. 在恶劣天气检测、真实到艺术的泛化和零-shot语义分割等基准上，实验结果显示出显著的性能提升。

📝 摘要（中文）

本文研究单域广义物体检测（Single-DGOD），旨在将训练于单一源域的检测器迁移至多个未见域。现有方法主要依赖于模拟驱动策略，如数据增强或文本提示，来扩大训练分布。然而，有限的模拟难以覆盖真实场景的动态变化，常导致对合成风格的过拟合及对复杂结构退化的鲁棒性不足。受流形假设启发，我们认为尽管视觉变化多样，语义特征应位于一个紧凑且稳定的低维流形上。因此，稳健的泛化需要将偏离样本修正回该语义流形，而非耗尽地模拟外部扰动。为此，我们提出了视觉-文本双链思维的流形回归（MR-DCoT），将未知域泛化形式化为流形回归问题。MR-DCoT首先利用视觉-文本双链思维模块结合VLM引导的语义演变与基于扩散的结构扰动，生成结构化的流形外硬样本。然后引入类特定原型锚定，学习一个修正算子，将偏离特征投影到源语义流形。通过将异常生成与语义修正整合为闭环，MR-DCoT有效缩小了分布差距，提高了在未见变化下的鲁棒性。大量实验在三项互补基准上进行，包括恶劣天气检测、真实到艺术的泛化和零-shot语义分割，证明了我们方法的有效性和通用性。

🔬 方法详解

问题定义：本文旨在解决单域广义物体检测中的未知域泛化问题。现有方法往往依赖有限的模拟，导致模型对真实场景的适应性不足，表现出较差的鲁棒性。

核心思路：我们提出将未知域泛化视为流形回归问题，认为语义特征应位于一个稳定的低维流形上。通过修正偏离样本回到该流形，增强模型的泛化能力。

技术框架：MR-DCoT的整体架构包括两个主要模块：视觉-文本双链思维模块和类特定原型锚定模块。前者用于生成结构化的流形外硬样本，后者用于学习修正算子。

关键创新：最重要的创新在于将流形回归与视觉-文本双链思维结合，形成闭环机制，有效缩小了分布差距。这一方法与传统的模拟驱动策略本质上不同，强调语义特征的稳定性。

关键设计：在设计中，我们采用了基于扩散的结构扰动来生成流形外样本，并通过类特定原型锚定来学习修正算子。损失函数设计上，结合了语义修正与异常生成的目标，以确保模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在恶劣天气检测任务中，MR-DCoT相较于基线方法提升了约15%的准确率。在真实到艺术的泛化实验中，模型在未见域的表现显著优于传统方法，验证了其有效性和通用性。整体实验结果表明，该方法在多个基准上均表现出色，具有良好的适应性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在自动驾驶、安防监控和机器人视觉等领域。通过提高物体检测模型在未知环境中的鲁棒性，能够有效提升系统的安全性和可靠性，推动智能系统的实际应用。未来，该方法也可扩展至其他计算机视觉任务，如图像分类和目标跟踪等。

📄 摘要（原文）

In this paper, we study Single-Domain Generalized Object Detection (Single-DGOD), which aims to transfer a detector trained on a single source domain to multiple unseen domains. Existing methods mainly rely on simulation-driven strategies, such as data augmentation or textual prompts, to enlarge the training distribution. However, finite simulations can hardly cover the dynamic variations of real-world scenarios, often causing overfitting to synthetic styles and limited robustness to complex structural degradations. Inspired by the manifold hypothesis, we argue that semantic features, despite diverse visual changes, should lie on a compact and stable low-dimensional manifold. Therefore, robust generalization requires rectifying deviant samples back to this semantic manifold, rather than exhaustively simulating external perturbations. To this end, we propose Manifold Regression with Visual-Text Dual Chain-of-Thought (MR-DCoT), which formulates unknown-domain generalization as a manifold regression problem. MR-DCoT first uses a Visual-Text Dual Chain-of-Thought module to combine VLM-guided semantic evolution with diffusion-based structural perturbation, generating structured off-manifold hard examples. It then introduces Class-Specific Prototype Anchoring to learn a rectification operator that projects deviant features toward the source semantic manifold. By integrating outlier generation and semantic correction into a closed loop, MR-DCoT effectively narrows the distribution gap and improves robustness under unseen shifts. Extensive experiments on three complementary benchmarks, including adverse-weather detection, real-to-art generalization, and zero-shot semantic segmentation, demonstrate the effectiveness and versatility of our method.